უმცირესი კვადრატების მეთოდი: შეფასების მათემატიკური მიდგომა
პენდაჰულუანი
უმცირესი კვადრატების მეთოდი არის სტატისტიკური ტექნიკა, რომელიც გამოიყენება რეგრესიულ მოდელში პარამეტრების შესაფასებლად, ფაქტობრივ და მოდელის მიერ პროგნოზირებულ მნიშვნელობებს შორის კვადრატული შეცდომების ჯამის მინიმიზაციის გზით. ეს მეთოდი ძალიან პოპულარულია და ხშირად გამოიყენება სხვადასხვა სფეროში, როგორიცაა ეკონომიკა, ინჟინერია, ბიოლოგია და სოციალური მეცნიერებები. უმცირესი კვადრატების კონცეფცია პირველად მე-19 საუკუნის დასაწყისში შემოგვთავაზა ადრიენ-მარი ლეჟანდრმა, ხოლო მოგვიანებით იგი კიდევ უფრო განავითარა კარლ ფრიდრიხ გაუსმა.
ძირითადი გაგება
ზოგადად, უმცირესი კვადრატების მეთოდის მიზანია მონაცემთა ნაკრებისთვის საუკეთესოდ მორგებული რეგრესიული ხაზის პოვნა ნარჩენების კვადრატების ჯამის, ანუ პროგნოზირების შეცდომების მინიმიზაციის გზით. ნარჩენი არის სხვაობა დაკვირვებულ და პროგნოზირებულ მნიშვნელობას შორის.
თუ ჩვენ გვაქვს მონაცემთა ნაკრები, რომელიც შედგება დაკვირვებების წყვილებისგან \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), მაშინ ჩვენი მიზანია ვიპოვოთ ხაზი \(y = mx + b\), რომელიც მინიმუმამდე დაჰყავს შეცდომების კვადრატის ჯამი sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
ეს მეთოდი შეიძლება გამოყენებულ იქნას როგორც მარტივი წრფივი რეგრესიისთვის, ასევე მრავლობითი წრფივი რეგრესიისთვის. მარტივ წრფივ რეგრესიაში ჩვენ გვაქვს მხოლოდ ერთი დამოუკიდებელი ცვლადი (x), ხოლო მრავლობითი წრფივი რეგრესია მოიცავს ერთზე მეტ დამოუკიდებელ ცვლადს.
მარტივი ხაზოვანი რეგრესია
დავიწყოთ მარტივი წრფივი რეგრესიით. დავუშვათ, რომ გვაქვს მონაცემთა ნაკრები \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). მარტივი წრფივი რეგრესიის მოდელი, რომლის მორგებაც გვსურს, არის:
\[ y = mx + b + \epsilon \]
სადაც m არის დახრილობა, b არის გადაკვეთის წერტილი და epsilon არის შემთხვევითი შეცდომა.
უმცირესი კვადრატების მეთოდის გამოყენებით, ჩვენ შეგვიძლია ვიპოვოთ პარამეტრების (m) და (b) შეფასებები კვადრატული შეცდომის ფუნქციის მინიმიზაციის გზით:
\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
S(m, b)-ის მინიმიზაციისთვის, ვპოულობთ S-ის ნაწილობრივ წარმოებულებს m-ისა და b-ის მიმართ და შემდეგ ვხსნით ამ განტოლებას m-ისა და b-სთვის:
\[ \begin{გასწორებული}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{გასწორებული} \]
გამარტივების შემდეგ, ჩვენ ვიღებთ შემდეგ ორ ნორმალურ განტოლებას:
\[ \begin{გასწორებული}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{გასწორებული} \]
ზემოთ მოცემული განტოლებების სისტემის ამოხსნით, შეგვიძლია ვიპოვოთ \(m\) და \(b\) მნიშვნელობები, რომლებიც მინიმუმამდე ამცირებს კვადრატულ შეცდომას.
მრავალჯერადი ხაზოვანი რეგრესია
მრავლობითი წრფივი რეგრესიის დროს, ჩვენ ვაწყდებით სიტუაციას, როდესაც გვაქვს ერთზე მეტი დამოუკიდებელი ცვლადი. დავუშვათ, რომ მონაცემები გვაქვს tuple-ის სახით \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). ჩვენს მიერ გამოყენებული რეგრესიის მოდელია:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
ეს განტოლება მატრიცული ფორმით შეიძლება დაიწეროს შემდეგნაირად:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
სად:
– \( \mathbf{y} \) არის დაკვირვებული y მნიშვნელობების სვეტოვანი ვექტორი.
– \( \mathbf{X} \) არის დაკვირვებული x მნიშვნელობების მატრიცა (ჩაჭრისთვის სვეტი 1-ის ჩათვლით).
– \( \mathbf{b} \) არის პარამეტრების სვეტისებრი ვექტორი (მათ შორის \(b_0 \)).
უმცირესი კვადრატების მეთოდის მიზანია შემდეგი კვადრატული შეცდომის ფუნქციის მინიმიზაცია:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
ამ ფუნქციის მინიმიზაციისთვის, ჩვენ ვიღებთ S-ის ნაწილობრივ წარმოებულს \( \mathbf{b} \)-ის მიმართ და ვადგენთ მას ნულის ტოლფასად. ეს იძლევა მრავლობითი წრფივი რეგრესიის ნორმალურ განტოლებას:
\[ X^T \mathbf{Xb} = X^T \mathbf{y}]
ზემოთ მოცემული განტოლებების სისტემის ამოხსნით, შეგვიძლია მივიღოთ პარამეტრის \( \mathbf{b} \) შეფასება:
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
უპირატესობები და შეზღუდვები
უმცირესი კვადრატების მეთოდს ბევრი უპირატესობა აქვს. ის ძალიან ეფექტური და მარტივი გამოსაყენებელი მეთოდია. ის უნიკალურ გადაწყვეტას გვთავაზობს, თუ \(X^T \mathbf{X} \) ინვერსიულია, რაც მას სანდოს ხდის მრავალი პრაქტიკული გამოყენებისთვის.
თუმცა, უმცირესი კვადრატების მეთოდს ასევე აქვს შეზღუდვები. ის ძალიან მგრძნობიარეა გამონაკლისების მიმართ, რადგან კვადრატული შეცდომა უფრო მეტად უსვამს ხაზს დიდ განსხვავებებს, ვიდრე პატარაებს. გარდა ამისა, კარგი შედეგის მისაღებად უნდა დაკმაყოფილდეს კლასიკური ვარაუდი, რომ შეცდომებს აქვთ ნორმალური განაწილება ნულოვანი საშუალოთი და მუდმივი ვარიაციით.
პრაქტიკული გამოყენება
უმცირესი კვადრატების მეთოდი ხშირად გამოიყენება მონაცემთა ტენდენციების ანალიზში, პროგნოზირებასა და მანქანურ სწავლებაში პროგნოზირებადი მოდელების შესაქმნელად. ფინანსურ ინდუსტრიაში უმცირესი კვადრატების მეთოდი გამოიყენება აქციების ფასების ან ბაზრის მაჩვენებლების პროგნოზირებისთვის. მედიცინაში ის გამოიყენება პრეპარატის დოზასა და პაციენტის რეაქციას შორის ურთიერთობის მოდელირებისთვის. სოციალურ მეცნიერებებში ის ხელს უწყობს ისეთი ცვლადების ურთიერთობის გაგებას, როგორიცაა განათლება და შემოსავალი.
დასკვნა
უმცირესი კვადრატების მეთოდი სტატისტიკისა და მონაცემთა ანალიზის ერთ-ერთი ფუნდამენტური ტექნიკაა. კონცეფციის სიმარტივის მიუხედავად, ეს მეთოდი მნიშვნელოვან ძალას გვთავაზობს ცვლადებს შორის ურთიერთობების მოდელირებასა და გაგებაში. ფართოდ გავრცელებული გამოყენების გათვალისწინებით, ამ მეთოდის მყარი გაგება ფასდაუდებელია როგორც პროფესიონალებისთვის, ასევე მკვლევარებისთვის. მომავალში, დიდი მონაცემების ეპოქაში მონაცემთა მზარდი მოცულობის გათვალისწინებით, კლასიკური მეთოდების, როგორიცაა უმცირესი კვადრატები, ადაპტაცია და გამოყენება სულ უფრო აქტუალური გახდება.
