Vähimruutude meetod: matemaatiline lähenemine hindamisele
Pendahuluan
Väikseimate ruutude meetod on statistiline meetod, mida kasutatakse regressioonimudeli parameetrite hindamiseks, minimeerides tegelike väärtuste ja mudeli abil ennustatud väärtuste vaheliste ruutvigade summat. See meetod on väga populaarne ja seda kasutatakse sageli erinevates valdkondades, nagu majandus, inseneriteadus, bioloogia ja sotsiaalteadused. Väikseimate ruutude kontseptsiooni pakkus esmakordselt välja Adrien-Marie Legendre 19. sajandi alguses ja hiljem arendas seda edasi Carl Friedrich Gauss.
Põhiteadmised
Üldiselt on vähimruutude meetodi eesmärk leida andmestikule kõige sobivam regressioonisirge, minimeerides jääkide ruutude summat ehk ennustusvigu. Jääk on vaadeldud väärtuse ja ennustatud väärtuse vahe.
Kui meil on andmestik, mis koosneb vaatluspaaridest \(x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), siis on meie eesmärk leida sirge \(y = mx + b\), mis minimeerib ruutvigade summa sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
Seda meetodit saab rakendada nii lihtsa lineaarse regressiooni kui ka mitmekordse lineaarse regressiooni korral. Lihtsas lineaarses regressioonis on meil ainult üks sõltumatu muutuja (x), samas kui mitmekordses lineaarses regressioonis on rohkem kui üks sõltumatu muutuja.
Lihtne lineaarne regressioon
Alustame lihtsa lineaarse regressiooniga. Oletame, et meil on andmestik \(x_1, y_1), (x_2, y_2), …, (x_n, y_n)). Lihtne lineaarse regressiooni mudel, mida me tahame sobitada, on:
[y = mx + b + epsilon]
kus \(m \) on tõus, \(b \) on lõikepunkt ja \(\epsilon \) on juhuslik viga.
Väikseimate ruutude meetodit kasutades saame parameetrite \(m \) ja \(b \) hinnangud leida ruutvea funktsiooni minimeerimise teel:
\[S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
S(m, b) minimeerimiseks leiame S osatuletised m ja b suhtes ning lahendame seejärel järgmise võrrandi m ja b jaoks:
\[ \begin{aligned}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{joondatud} \]
Pärast lihtsustamist saame järgmised kaks normaalvõrrandit:
\[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
∫_{i=1}^{n}x_i y_i &= m ∫_{i=1}^{n}x_i^2 + b ∫_{i=1}^{n}x_i
\end{joondatud} \]
Lahendades ülaltoodud võrrandisüsteemi, leiame m ja b väärtused, mis minimeerivad ruutvea.
Mitmekordne lineaarne regressioon
Mitmekordse lineaarse regressiooni puhul seisame silmitsi olukorraga, kus meil on rohkem kui üks sõltumatu muutuja. Oletame, et meil on andmed dupleeli kujul \(x_{i1}, x_{i2}, …, x_{ik}, y_i)\). Kasutatav regressioonimudel on:
\[y = b_0 + b_1x_1 + b_2x_2 + … + b_kx_k + η]
Selle võrrandi saab maatriksi kujul kirjutada järgmiselt:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Kus:
– \( \mathbf{y} \) on vaadeldud y-väärtuste tulpvektor.
– \( \mathbf{X} \) on vaadeldud x-väärtuste maatriks (sealhulgas 1. veerg lõikepunkti jaoks).
– \( \mathbf{b} \) on parameetrite veeruvektor (kaasa arvatud \( b_0 \)).
Väikseimate ruutude meetodi eesmärk on minimeerida järgmist ruutvea funktsiooni:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
Selle funktsiooni minimeerimiseks võtame S osatuletise \( \mathbf{b} \) suhtes ja seame selle nulliks. Selle tulemusel saame mitmekordse lineaarse regressiooni normaalvõrrandi:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
Ülaltoodud võrrandisüsteemi lahendades saame parameetri \( \mathbf{b} \) hinnangu:
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Eelised ja piirangud
Väikseimate ruutude meetodil on palju eeliseid. See on väga tõhus ja lihtne meetod. See pakub ainulaadset lahendust, kui \( \mathbf{X}^T \mathbf{X} \) on pööratav, muutes selle usaldusväärseks paljudes praktilistes rakendustes.
Siiski on ka vähimruutude meetodil piirangud. See on väga tundlik kõrvalekallete suhtes, kuna ruutviga rõhutab suuri erinevusi rohkem kui väikeseid. Lisaks peab heade tulemuste saavutamiseks olema täidetud klassikaline eeldus, et vead on normaaljaotusega, mille keskmine on null ja dispersioon konstantne.
Praktilised rakendused
Väikseimate ruutude meetodit kasutatakse sageli andmete trendide analüüsis, prognoosimises ja masinõppes ennustusmudelite loomiseks. Finantssektoris kasutatakse vähimruutude meetodit aktsiahindade või turu toimivuse ennustamiseks. Meditsiinis kasutatakse seda ravimiannuse ja patsiendi ravivastuse vahelise seose modelleerimiseks. Sotsiaalteadustes aitab see mõista selliste muutujate nagu haridus ja sissetulek vahelist seost.
Järeldus
Väikseimate ruutude meetod on üks statistika ja andmeanalüüsi põhitehnikaid. Kuigi põhimõtteliselt lihtne, pakub see meetod märkimisväärset võimsust muutujate vaheliste seoste modelleerimisel ja mõistmisel. Kuna seda kasutatakse laialdaselt paljudes valdkondades, on selle meetodi põhjalik mõistmine hindamatu väärtusega nii spetsialistidele kui ka teadlastele. Tulevikus muutub suurandmete ajastul esineva andmemahu suurenemise tõttu klassikaliste meetodite, näiteks vähimruutude meetodi, kohandamine ja rakendamine üha olulisemaks.
