Metoda najmanjih kvadrata: Matematički pristup procjeni
Uvod
Metoda najmanjih kvadrata je statistička tehnika koja se koristi za procjenu parametara u regresijskom modelu minimiziranjem zbroja kvadratnih pogrešaka između stvarnih vrijednosti i vrijednosti koje predviđa model. Ova je metoda vrlo popularna i često se koristi u raznim područjima kao što su ekonomija, inženjerstvo, biologija i društvene znanosti. Koncept najmanjih kvadrata prvi je predložio Adrien-Marie Legendre početkom 19. stoljeća, a kasnije ga je dalje razvio Carl Friedrich Gauss.
Osnovno razumijevanje
Općenito, metoda najmanjih kvadrata ima za cilj pronaći regresijsku liniju koja najbolje odgovara skupu podataka minimiziranjem zbroja kvadrata reziduala ili pogrešaka predviđanja. Rezidual je razlika između promatrane vrijednosti i predviđene vrijednosti.
Ako imamo skup podataka koji se sastoji od parova opažanja \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), tada je naš cilj pronaći pravac \(y = mx + b\) koji minimizira zbroj kvadrata pogrešaka sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
Ova se metoda može primijeniti i na jednostavnu linearnu regresiju i na višestruku linearnu regresiju. U jednostavnoj linearnoj regresiji imamo samo jednu nezavisnu varijablu (x), dok višestruka linearna regresija uključuje više od jedne nezavisne varijable.
Jednostavna linearna regresija
Počnimo s jednostavnom linearnom regresijom. Pretpostavimo da imamo skup podataka \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). Model jednostavne linearne regresije koji želimo prilagoditi je:
\[y = mx + b + \epsilon \]
gdje je \( m \) nagib, \( b \) je odsječak na osi, a \( \epsilon \) je slučajna pogreška.
Koristeći metodu najmanjih kvadrata, možemo pronaći procjene parametara \( m \) i \( b \) minimiziranjem funkcije kvadratne pogreške:
S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2
Za minimiziranje \( S(m, b) \), nalazimo parcijalne derivacije \( S \) s obzirom na \( m \) i \( b \), a zatim rješavamo ovu jednadžbu za \( m \) i \( b \):
\[ \begin{poravnato}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{poravnato} \]
Nakon pojednostavljenja dobivamo sljedeće dvije normalne jednadžbe:
\[ \begin{poravnato}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{poravnato} \]
Rješavanjem gornjeg sustava jednadžbi možemo pronaći vrijednosti \( m \) i \( b \) koje minimiziraju kvadratnu pogrešku.
Višestruka linearna regresija
U višestrukoj linearnoj regresiji suočeni smo sa situacijom u kojoj imamo više od jedne nezavisne varijable. Pretpostavimo da imamo podatke u obliku skupa \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). Regresijski model koji koristimo je:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
Ova jednadžba se može zapisati u matričnom obliku kao:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Gdje:
– \( \mathbf{y} \) je vektor stupac opaženih y vrijednosti.
– \( \mathbf{X} \) je matrica opaženih x vrijednosti (uključujući stupac 1 za odsječak na osi).
– \( \mathbf{b} \) je vektor stupac parametara (uključujući \( b_0 \)).
Cilj metode najmanjih kvadrata je minimizirati sljedeću kvadratnu funkciju pogreške:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
Kako bismo minimizirali ovu funkciju, uzimamo parcijalnu derivaciju od S u odnosu na \( \mathbf{b} \) i postavljamo je na nulu. To daje normalnu jednadžbu za višestruku linearnu regresiju:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
Rješavanjem gornjeg sustava jednadžbi možemo dobiti procjenu parametra \( \mathbf{b} \):
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Prednosti i ograničenja
Metoda najmanjih kvadrata ima mnogo prednosti. Vrlo je učinkovita i jednostavna metoda za korištenje. Nudi jedinstveno rješenje ako je \( \mathbf{X}^T \mathbf{X} \) invertibilna, što je čini pouzdanom za mnoge praktične primjene.
Međutim, metoda najmanjih kvadrata također ima ograničenja. Vrlo je osjetljiva na outliere jer kvadratna pogreška više naglašava velike razlike nego male. Nadalje, za dobre rezultate mora biti ispunjena klasična pretpostavka da pogreške imaju normalnu distribuciju s nultom srednjom vrijednošću i konstantnom varijancom.
Praktične primjene
Metoda najmanjih kvadrata često se koristi u analizi trendova podataka, predviđanju i strojnom učenju za izgradnju prediktivnih modela. U financijskoj industriji, metoda najmanjih kvadrata koristi se za predviđanje cijena dionica ili tržišnih performansi. U medicini se koristi za modeliranje odnosa između doze lijekova i odgovora pacijenta. U društvenim znanostima pomaže u razumijevanju odnosa između varijabli poput obrazovanja i prihoda.
Zaključak
Metoda najmanjih kvadrata jedna je od temeljnih tehnika u statistici i analizi podataka. Iako je konceptualno jednostavna, ova metoda nudi značajnu snagu u modeliranju i razumijevanju odnosa između varijabli. S široko rasprostranjenom primjenom u širokom rasponu područja, dobro razumijevanje ove metode neprocjenjivo je i za profesionalce i za istraživače. U budućnosti, s rastućom količinom podataka s kojima se susrećemo u eri velikih podataka, prilagodba i primjena klasičnih metoda poput najmanjih kvadrata postat će sve relevantnija.
