Pienimmän neliösumman menetelmä: Matemaattinen lähestymistapa estimointiin
Johdanto
Pienimmän neliösumman menetelmä on tilastollinen tekniikka, jota käytetään regressiomallin parametrien estimoimiseen minimoimalla todellisten arvojen ja mallin ennustamien arvojen välisten neliövirheiden summa. Tämä menetelmä on erittäin suosittu ja sitä käytetään usein useilla aloilla, kuten taloustieteessä, tekniikassa, biologiassa ja yhteiskuntatieteissä. Pienimmän neliösumman käsitteen ehdotti ensimmäisenä Adrien-Marie Legendre 19-luvun alussa, ja Carl Friedrich Gauss kehitti sitä myöhemmin edelleen.
Perustiedot
Yleisesti ottaen pienimmän neliösumman menetelmä pyrkii löytämään parhaiten sopivan regressiosuoran datajoukolle minimoimalla jäännösten neliösumman eli ennustevirheen. Jäännös on havaitun arvon ja ennustetun arvon välinen erotus.
Jos meillä on aineisto, joka koostuu havaintopareista \(x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), niin tavoitteemme on löytää suora \(y = mx + b\), joka minimoi neliövirheiden summan sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
Tätä menetelmää voidaan soveltaa sekä yksinkertaiseen lineaariseen regressioon että moninkertaiseen lineaariseen regressioon. Yksinkertaisessa lineaarisessa regressiossa on vain yksi riippumaton muuttuja (x), kun taas moninkertaisessa lineaarisessa regressiossa on mukana useampi kuin yksi riippumaton muuttuja.
Yksinkertainen lineaarinen regressio
Aloitetaan yksinkertaisella lineaarisella regressiolla. Oletetaan, että meillä on datajoukko \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). Sovitettava yksinkertainen lineaarinen regressiomalli on:
\[y = mx + b + epsilon \]
jossa \(m \) on kulmakerroin, \(b \) on leikkauspiste ja \(\epsilon \) on satunnainen virhe.
Pienimmän neliösumman menetelmällä voimme löytää parametrien \(m \) ja \(b \) estimaatit minimoimalla neliövirhefunktion:
\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
Minimoidaksemme \(S(m, b) \) etsitään \(S \) :n osittaisderivaattoja \(m \) ja \(b \) suhteen ja ratkaistaan sitten tämä yhtälö \(m \) ja \(b \) osalta:
\[ \begin{aligned}
\frac{\osittainen S}{\osittainen m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\osittainen S}{\osittainen b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
tasattu]
Sievennyksen jälkeen saadaan seuraavat kaksi normaaliyhtälöä:
\[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
∫_{i=1}^{n}x_i y_i &= m ∫_{i=1}^{n}x_i^2 + b ∫_{i=1}^{n}x_i
tasattu]
Ratkaisemalla yllä olevan yhtälöryhmän voimme löytää m:n ja b:n arvot, jotka minimoivat neliövirheen.
Moninkertainen lineaarinen regressio
Usean muuttujan lineaarisessa regressiossa kohtaamme tilanteen, jossa riippumattomia muuttujia on useampi kuin yksi. Oletetaan, että data on tuplen muodossa \(x_{i1}, x_{i2}, …, x_{ik}, y_i)\). Käyttämämme regressiomalli on:
\[y = b_0 + b_1x_1 + b_2x_2 + … + b_kx_k + η]
Tämä yhtälö voidaan kirjoittaa matriisimuodossa seuraavasti:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Jossa:
– \( \mathbf{y} \) on havaittujen y-arvojen sarakevektori.
– \( \mathbf{X} \) on havaittujen x-arvojen matriisi (mukaan lukien sarake 1 leikkauspisteelle).
– \( \mathbf{b} \) on parametrien (mukaan lukien \( b_0 \)) sarakevektori.
Pienimmän neliösumman menetelmän tavoitteena on minimoida seuraava toisen asteen virhefunktio:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
Tämän funktion minimoimiseksi otamme S:n osittaisderivaatan \( \mathbf{b} \) suhteen ja asetamme sen nollaksi. Tämä tuottaa normaaliyhtälön moninkertaiselle lineaariselle regressiolle:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
Ratkaisemalla yllä olevan yhtälöryhmän voimme saada arvion parametrille \( \mathbf{b} \):
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Edut ja rajoitukset
Pienimmän neliösumman menetelmällä on monia etuja. Se on erittäin tehokas ja yksinkertainen menetelmä. Se tarjoaa ainutlaatuisen ratkaisun, jos \( \mathbf{X}^T \mathbf{X} \) on käännettävissä, mikä tekee siitä luotettavan monissa käytännön sovelluksissa.
Pienimmän neliösumman menetelmällä on kuitenkin myös rajoituksensa. Se on erittäin herkkä poikkeaville havainnoille, koska neliövirhe korostaa suuria eroja enemmän kuin pieniä. Lisäksi hyvien tulosten saamiseksi on täytettävä klassinen oletus, jonka mukaan virheillä on normaalijakauma, jonka keskiarvo on nolla ja varianssi vakio.
Käytännön sovellukset
Pienimmän neliösumman menetelmää käytetään usein datatrendianalyysissä, ennustamisessa ja koneoppimisessa ennustavien mallien rakentamiseen. Rahoitusalalla pienimmän neliösumman menetelmää käytetään osakekurssien tai markkinoiden kehityksen ennustamiseen. Lääketieteessä sitä käytetään lääkeannoksen ja potilasvasteen välisen suhteen mallintamiseen. Yhteiskuntatieteissä se auttaa ymmärtämään muuttujien, kuten koulutuksen ja tulojen, välistä suhdetta.
Johtopäätös
Pienimmän neliösumman menetelmä on yksi tilastotieteen ja data-analyysin perustekniikoista. Vaikka menetelmä on periaatteeltaan yksinkertainen, se tarjoaa merkittäviä tehokkuuksia muuttujien välisten suhteiden mallintamisessa ja ymmärtämisessä. Koska menetelmää sovelletaan laajalti useilla eri aloilla, sen vankka ymmärtäminen on korvaamatonta sekä ammattilaisille että tutkijoille. Jatkossa, kun suurten tietomäärien aikakaudella kohtaamamme datamäärä kasvaa, klassisten menetelmien, kuten pienimmän neliösumman menetelmän, soveltaminen ja soveltaminen tulee vain olemaan yhä tärkeämpää.
