Legkisebb négyzetek módszere: Matematikai megközelítés a becsléshez
Pendahuluan
A legkisebb négyzetek módszere egy statisztikai technika, amelyet regressziós modell paramétereinek becslésére használnak a tényleges értékek és a modell által előrejelzett értékek közötti négyzetes hibák összegének minimalizálásával. Ez a módszer nagyon népszerű, és gyakran használják különböző területeken, például a közgazdaságtanban, a mérnöki tudományokban, a biológiában és a társadalomtudományokban. A legkisebb négyzetek koncepcióját először Adrien-Marie Legendre javasolta a 19. század elején, majd később Carl Friedrich Gauss fejlesztette tovább.
Alapvető ismeretek
Általánosságban elmondható, hogy a legkisebb négyzetek módszerének célja egy adathalmazhoz legjobban illeszkedő regressziós egyenes megtalálása a reziduálisok négyzetösszegének, vagyis a predikciós hibák minimalizálásával. A reziduális a megfigyelt érték és az előrejelzett érték közötti különbség.
Ha van egy adathalmazunk, amely \(x_1, y_1), (x_2, y_2), …, (x_n, y_n)\) megfigyeléspárokból áll, akkor a célunk az \(y = mx + b\) egyenes megtalálása, amely minimalizálja a négyzetes hibák összegét: sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
Ez a módszer alkalmazható mind egyszerű lineáris regresszióra, mind többszörös lineáris regresszióra. Az egyszerű lineáris regresszióban csak egy független változónk (x) van, míg a többszörös lineáris regresszió egynél több független változót foglal magában.
Egyszerű lineáris regresszió
Kezdjük egy egyszerű lineáris regresszióval. Tegyük fel, hogy van egy \(x_1, y_1), (x_2, y_2), …, (x_n, y_n)) adathalmazunk. Az illeszteni kívánt egyszerű lineáris regressziós modell a következő:
[y = mx + b + epsilon]
ahol \(m \) a meredekség, \(b \) a tengelymetszet, és \(\epsilon \) a véletlen hiba.
A legkisebb négyzetek módszerével az \(m \) és \(b \) paraméterek becslését a négyzetes hibafüggvény minimalizálásával kaphatjuk meg:
\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
Az S(m, b) minimalizálásához megkeressük S parciális deriváltjait m és b szerint, majd megoldjuk az alábbi egyenletet m és b esetén:
\[ \kezdődik{igazítva}
\frac{\részleges S}{\részleges m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{igazítva} \]
Az egyszerűsítés után a következő két normálegyenletet kapjuk:
\[ \kezdődik{igazítva}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
∫_{i=1}^{n}x_i y_i &= m ∫_{i=1}^{n}x_i^2 + b ∫_{i=1}^{n}x_i
\end{igazítva} \]
A fenti egyenletrendszer megoldásával megtalálhatjuk az \(m \) és \(b \) értékeket, amelyek minimalizálják a négyzetes hibát.
Többszörös lineáris regresszió
Többszörös lineáris regresszió esetén olyan helyzettel találkozunk, ahol egynél több független változónk van. Tegyük fel, hogy az adataink egy \(x_{i1}, x_{i2}, …, x_{ik}, y_i)\ tuple formátumúak. Az általunk használt regressziós modell a következő:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + η]
Ez az egyenlet mátrix alakban a következőképpen írható fel:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Ahol:
– A \( \mathbf{y} \) a megfigyelt y értékek oszlopvektora.
– A \( \mathbf{X} \) a megfigyelt x értékek mátrixa (beleértve az 1. oszlopot a tengelymetszethez).
– A \( \mathbf{b} \) a paraméterek oszlopvektora (beleértve a \( b_0 \)-t is).
A legkisebb négyzetek módszerének célja a következő kvadratikus hibafüggvény minimalizálása:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
A függvény minimalizálásához az S parciális deriváltját vesszük \( \mathbf{b} \) szerint, és nullázzuk. Ez a többszörös lineáris regresszió normális egyenletét eredményezi:
[ X ^ T Xb = X ^ T y ]
A fenti egyenletrendszer megoldásával megkapjuk a \( \mathbf{b} \) paraméter becslését:
[ b = ( X ^T X )^{-1} X ^T y ]
Előnyök és korlátozások
A legkisebb négyzetek módszerének számos előnye van. Nagyon hatékony és egyszerűen használható módszer. Egyedi megoldást kínál, ha a \( \mathbf{X}^T \mathbf{X} \) invertálható, így számos gyakorlati alkalmazásban megbízható.
A legkisebb négyzetek módszerének azonban vannak korlátai is. Nagyon érzékeny a kiugró értékekre, mivel a négyzetes hiba jobban kiemeli a nagy különbségeket, mint a kicsiket. Továbbá a jó eredményekhez teljesülnie kell annak a klasszikus feltételezésnek, hogy a hibák normális eloszlásúak, nulla várható értékkel és konstans varianciával.
Gyakorlati alkalmazások
A legkisebb négyzetek módszerét gyakran használják az adattrend-elemzésben, az előrejelzésben és a gépi tanulásban prediktív modellek építéséhez. A pénzügyi szektorban a legkisebb négyzetek módszerét használják a részvényárfolyamok vagy a piaci teljesítmény előrejelzésére. Az orvostudományban a gyógyszeradagolás és a beteg válasza közötti kapcsolat modellezésére. A társadalomtudományokban segít megérteni az olyan változók közötti kapcsolatot, mint az iskolai végzettség és a jövedelem.
Következtetés
A legkisebb négyzetek módszere a statisztika és az adatelemzés egyik alapvető technikája. Bár elméletileg egyszerű, ez a módszer jelentős erőt kínál a változók közötti kapcsolatok modellezésében és megértésében. Széles körben elterjedt alkalmazásaival számos területen, a módszer alapos ismerete felbecsülhetetlen értékű mind a szakemberek, mind a kutatók számára. A jövőben, a big data korszakában tapasztalható növekvő adatmennyiséggel, a klasszikus módszerek, például a legkisebb négyzetek módszerének adaptálása és alkalmazása egyre relevánsabbá válik.
