Metotia o le Least Squares: O se Auala Fa'amatematika i le Fa'atatauga
Pendahuluan
O le metotia o sikuea laʻititi o se metotia faʻamaufaʻailoga e faʻaaogaina e faʻatatau ai parakalafa i se faʻataʻitaʻiga regression e ala i le faʻaitiitia o le aofaʻi o mea sese faʻatafaʻi i le va o tau moni ma tau na valoia e le faʻataʻitaʻiga. O lenei metotia e lauiloa tele ma e masani ona faʻaaogaina i vaega eseese e pei o le tamaoaiga, inisinia, paiolo, ma saienisi lautele. O le manatu o sikuea laʻititi na muamua fautuaina e Adrien-Marie Legendre i le amataga o le seneturi 19 ma mulimuli ane atiina ae e Carl Friedrich Gauss.
Malamalamaaga Fa'avae
I se tulaga lautele, o le metotia o le least squares e faʻamoemoe e suʻe le laina regression sili ona fetaui mo se seti o faʻamaumauga e ala i le faʻaitiitia o le aofaʻi o sikuea o mea na totoe, poʻo mea sese o valoʻaga. O le mea na totoe o le eseesega i le va o le tau na matauina ma le tau na valoia.
Afai e iai sa tatou seti faʻamaumauga e aofia ai paga o matauga \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), o la tatou sini la o le sailia lea o le laina \(y = mx + b\) e faʻaitiitia ai le aofaʻi o mea sese faʻatafafā\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
E mafai ona faʻaaogaina lenei metotia i le simple linear regression ma le multiple linear regression. I le simple linear regression, e naʻo le tasi le fesuiaʻiga tutoʻatasi (x), ae o le multiple linear regression e aofia ai le sili atu ma le tasi le fesuiaʻiga tutoʻatasi.
Fa'asologa Fa'asolosolo Fa'igofie
Se'i o tatou amata i le fa'asologa faigofie o le linear regression. Fa'apea la ua i ai sa tatou seti fa'amaumauga \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). O le fa'ata'ita'iga faigofie o le linear regression tatou te mana'o e fetaui o le:
\[ y = mx + b + \epsilon \]
lea o le \( m \) o le fa'asolo, o le \( b \) o le fa'alavelave fa'afuase'i, ma o le \( \epsilon \) o le mea sese fa'afuase'i.
I le fa'aaogaina o le metotia least squares, e mafai ona tatou maua ni fa'atatauga o parakalafa \( m \) ma le \( b \) e ala i le fa'aitiitia o le galuega fa'atino o le squared error:
S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
Ina ia faʻaitiitia le \( S(m, b) \), matou te sailia ni vaega e maua mai i le \( S \) e faʻatatau i le \( m \) ma le \( b \), ona foia lea o lenei fuafuaga mo le \( m \) ma le \( b \):
\[ \begin{aligned}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]
A maeʻa ona faafaigofieina, tatou te maua fua faʻatatau masani e lua nei:
\[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]
I le foia o le faiga o fua faatatau o loʻo i luga, e mafai ona tatou maua ai tau o le \( m \) ma le \( b \) e faʻaitiitia ai le faʻatafafā sese.
Fa'asologa Fa'asolosolo Tele
I le regression linear tele, tatou te feagai ma se tulaga e sili atu ma le tasi le fesuiaʻiga tutoatasi. Faapea o loo ia i tatou faamatalaga i le tulaga o se tuple \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). O le faataitaiga regression tatou te faaaogaina o le:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
E mafai ona tusia lenei fua fa'atatau i le faiga o le matrix e pei ona:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
di mana:
– O le \( \mathbf{y} \) o se vector koluma o tau y ua matauina.
– \( \mathbf{X} \) o se matrix o tau x ua matauina (e aofia ai le koluma 1 mo le intercept).
– O le \( \mathbf{b} \) o se vector koluma o parakalafa (e aofia ai le \( b_0 \)).
O le sini autū o le metotia least squares o le faʻaitiitia lea o le quadratic error function lea:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
Ina ia faʻaitiitia lenei galuega faatino, matou te aveina le vaega faʻasolosolo o le S e faʻatatau i le \( \mathbf{b} \) ma seti i le zero. O lenei mea e maua ai le fua masani mo le regression linear tele:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
I le foia o le faiga o fua faatatau o loʻo i luga, e mafai ona tatou maua se faʻatatauga o le parakalafa \( \mathbf{b} \):
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Lelei ma Tapula'a
E tele ona lelei o le metotia o le 'least squares'. O se metotia e matuā lelei ma faigofie ona fa'aaoga. E ofoina atu ai se fofo tulaga ese pe afai e mafai ona liua le \( \mathbf{X}^T \mathbf{X} \), ma avea ai ma mea e fa'atuatuaina mo le tele o fa'aoga aoga.
Peita'i, e iai fo'i tapula'a o le metotia least squares. E matua'i maaleale lava i outliers auā o le squared error e fa'amamafa ai eseesega tetele nai lo eseesega laiti. E le gata i lea, o le manatu masani e fa'apea o mea sese e iai se tufatufaga masani ma le zero mean ma le constant variance e tatau ona ausia mo ni taunuuga lelei.
Fa'aoga Fa'atino
E masani ona faʻaaogaina le metotia o le least squares i le auʻiliʻiliga o aga o faʻamaumauga, vaʻaiga o mea o loʻo tutupu, ma le aʻoaʻoina o masini e fausia ai ni faʻataʻitaʻiga e vavalo ai. I le pisinisi tau tupe, e faʻaaogaina le metotia o le least squares e vavalo ai tau o sea poʻo le faʻatinoga o maketi. I vailaʻau, e faʻaaogaina e faʻataʻitaʻi ai le sootaga i le va o le fua o vailaʻau ma le tali atu a le maʻi. I saienisi lautele, e fesoasoani e malamalama ai i le sootaga i le va o fesuiaʻiga e pei o le aʻoaʻoga ma tupe maua.
I'uga
O le metotia o le "least squares" o se tasi o metotia autū i fuainumera ma le au'ili'iliga o fa'amaumauga. E ui o le faigofie o lona manatu, ae o lenei metotia e ofoina atu ai le malosi tele i le fa'ata'ita'iina ma le malamalama i sootaga i le va o fesuia'iga. Faatasi ai ma le lautele o fa'aoga i le tele o vaega, o se malamalamaga mautu o lenei metotia e matua taua tele mo tagata tomai faapitoa ma tagata su'esu'e. I le agai i luma, faatasi ai ma le fa'ateleina o le tele o fa'amaumauga o lo'o feagai ma le vaitaimi o fa'amaumauga tetele, o le fetu'una'iga ma le fa'aogaina o metotia masani e pei o le "least squares" o le a na'o le fa'ateleina o lona taua.
