Mažiausių kvadratų metodas: matematinis vertinimo metodas
Pendahuluanas
Mažiausių kvadratų metodas yra statistinė technika, naudojama regresinio modelio parametrams įvertinti, minimizuojant kvadratinių paklaidų tarp faktinių verčių ir modelio numatytų verčių sumą. Šis metodas yra labai populiarus ir dažnai naudojamas įvairiose srityse, tokiose kaip ekonomika, inžinerija, biologija ir socialiniai mokslai. Mažiausių kvadratų koncepciją pirmą kartą pasiūlė Adrien-Marie Legendre XIX a. pradžioje, o vėliau ją toliau plėtojo Carl Friedrich Gauss.
Pagrindinis supratimas
Paprastai mažiausių kvadratų metodo tikslas – rasti geriausiai duomenų rinkiniui tinkančią regresijos liniją, sumažinant liekanų kvadratų sumą arba prognozavimo paklaidas. Liekamoji vertė yra skirtumas tarp stebimos vertės ir prognozuojamos vertės.
Jei turime duomenų rinkinį, sudarytą iš stebėjimų porų \(x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), tai mūsų tikslas yra rasti tiesę \(y = mx + b\), kuri sumažina kvadratinių klaidų sumą sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
Šis metodas gali būti taikomas tiek paprastai tiesinei regresijai, tiek daugybinei tiesinei regresijai. Paprastoje tiesinėje regresijoje turime tik vieną nepriklausomą kintamąjį (x), o daugybinėje tiesinėje regresijoje yra daugiau nei vienas nepriklausomas kintamasis.
Paprastoji tiesinė regresija
Pradėkime nuo paprastos tiesinės regresijos. Tarkime, kad turime duomenų rinkinį \(x_1, y_1), (x_2, y_2), …, (x_n, y_n)). Norimas pritaikyti paprastos tiesinės regresijos modelis yra:
[y = mx + b + epsilon]
kur \(m \) yra nuolydis, \(b \) yra ašies perkirtimo taškas, o \( \epsilon \) yra atsitiktinė paklaida.
Naudojant mažiausių kvadratų metodą, parametrų \(m \) ir \(b \) įverčius galime rasti minimizuodami kvadratinės paklaidos funkciją:
S(m, b) = ∫_{i=1}^{n} (y_i – (mx_i + b))^2]
Norėdami sumažinti S(m, b), randame S dalines išvestines m ir b atžvilgiu, o tada sprendžiame šią lygtį m ir b atžvilgiu:
\[ \begin{aligned}
\frac{\dalinis S}{\dalinis m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\dalinis S}{\dalinis b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]
Po supaprastinimo gauname šias dvi normalias lygtis:
\[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
∫_{i=1}^{n}x_i y_i &= m ∫_{i=1}^{n}x_i^2 + b ∫_{i=1}^{n}x_i
\end{aligned} \]
Išsprendę aukščiau pateiktą lygčių sistemą, galime rasti \(m \) ir \(b \) reikšmes, kurios minimizuoja kvadratinę paklaidą.
Daugybinė tiesinė regresija
Daugialypėje tiesinėje regresijoje susiduriame su situacija, kai turime daugiau nei vieną nepriklausomą kintamąjį. Tarkime, kad turime duomenis rinkinio \(x_{i1}, x_{i2}, …, x_{ik}, y_i)\) pavidalu. Mūsų naudojamas regresijos modelis yra:
\[y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + η]
Šią lygtį galima užrašyti matricos pavidalu taip:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
mano:
– \( \mathbf{y} \) yra stebimų y reikšmių stulpelinis vektorius.
– \( \mathbf{X} \) yra stebimų x reikšmių matrica (įskaitant 1 stulpelį, skirtą perėmimui).
– \( \mathbf{b} \) yra parametrų stulpelinis vektorius (įskaitant \( b_0 \)).
Mažiausių kvadratų metodo tikslas yra sumažinti šią kvadratinę paklaidos funkciją:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
Norėdami sumažinti šią funkciją, imame dalinę S išvestinę \( \mathbf{b} \) atžvilgiu ir nustatome ją į nulį. Gauname daugybinės tiesinės regresijos normaliąją lygtį:
[ ∫<sub>X}^T ∫<sub>X} = ∫<sub>X}^T ∫<sub>y}]
Išsprendę aukščiau pateiktą lygčių sistemą, galime gauti parametro \( \mathbf{b} \) įvertį:
[ ∫bf{b} = (∫bf{X}^T ∫bf{X})^{-1} ∫bf{X}^T ∫bf{y}]
Privalumai ir apribojimai
Mažiausių kvadratų metodas turi daug privalumų. Tai labai efektyvus ir paprastas naudoti metodas. Jis siūlo unikalų sprendimą, jei \( \mathbf{X}^T \mathbf{X} \) yra invertuojamas, todėl jis yra patikimas daugeliui praktinių pritaikymų.
Tačiau mažiausių kvadratų metodas taip pat turi apribojimų. Jis yra labai jautrus išskirtinėms reikšmėms, nes kvadratinė paklaida labiau pabrėžia didelius skirtumus nei mažus. Be to, norint gauti gerus rezultatus, turi būti laikomasi klasikinės prielaidos, kad paklaidos turi normalųjį skirstinį su nuliniu vidurkiu ir pastovia dispersija.
Praktinis pritaikymas
Mažiausių kvadratų metodas dažnai naudojamas duomenų tendencijų analizėje, prognozavime ir mašininio mokymosi srityje, siekiant sukurti nuspėjamuosius modelius. Finansų sektoriuje mažiausių kvadratų metodas naudojamas akcijų kainoms arba rinkos veikimui prognozuoti. Medicinoje jis naudojamas vaistų dozės ir paciento reakcijos ryšiui modeliuoti. Socialiniuose moksluose jis padeda suprasti tokių kintamųjų kaip išsilavinimas ir pajamos ryšį.
Išvada
Mažiausių kvadratų metodas yra vienas iš pagrindinių statistikos ir duomenų analizės metodų. Nors iš esmės paprastas, šis metodas suteikia didelę galią modeliuojant ir suprantant kintamųjų ryšius. Kadangi šis metodas yra plačiai taikomas įvairiose srityse, geras jo supratimas yra neįkainojamas tiek specialistams, tiek tyrėjams. Ateityje, didėjant duomenų kiekiui didžiųjų duomenų eroje, klasikinių metodų, tokių kaip mažiausių kvadratų metodas, pritaikymas ir taikymas taps vis aktualesnis.
