Metoade fan de minste kwadraten: In wiskundige oanpak foar skatting
Pendahuluan
De metoade fan 'e minste kwadraten' is in statistyske technyk dy't brûkt wurdt om parameters yn in regresjemodel te skatten troch de som fan 'e kwadraatfouten tusken de werklike wearden en de wearden dy't troch it model foarsein binne te minimalisearjen. Dizze metoade is tige populêr en wurdt faak brûkt yn ferskate fjilden lykas ekonomy, technyk, biology en de sosjale wittenskippen. It konsept fan 'e minste kwadraten waard earst foarsteld troch Adrien-Marie Legendre yn 'e iere 19e iuw en waard letter fierder ûntwikkele troch Carl Friedrich Gauss.
Basisbegryp
Yn 't algemien is de metoade fan 'e minste kwadraten bedoeld om de bêst passende regresjeline foar in dataset te finen troch de som fan 'e kwadraten fan 'e residuen, of foarsizzingsfouten, te minimalisearjen. It residu is it ferskil tusken de waarnommen wearde en de foarseine wearde.
As wy in dataset hawwe dy't bestiet út pearen fan observaasjes \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), dan is ús doel om de line \(y = mx + b\) te finen dy't de som fan kwadraatfouten sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \) minimalisearret.
Dizze metoade kin tapast wurde op sawol ienfâldige lineêre regresje as meardere lineêre regresje. Yn ienfâldige lineêre regresje hawwe wy mar ien ûnôfhinklike fariabele (x), wylst meardere lineêre regresje mear as ien ûnôfhinklike fariabele omfettet.
Ienfâldige lineêre regresje
Litte wy begjinne mei ienfâldige lineêre regresje. Stel dat wy in dataset hawwe \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). It ienfâldige lineêre regresjemodel dat wy oanpasse wolle is:
\[ y = mx + b + \epsilon \]
wêrby't \(m \) de helling is, \(b \) it ynterseksjepunt is, en \(epsilon \) de willekeurige flater is.
Mei de metoade fan 'e minste kwadraten kinne wy skattings fine fan 'e parameters \(m \) en \(b \) troch de kwadraatfoutfunksje te minimalisearjen:
[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
Om \(S(m, b) \) te minimalisearjen, fine wy de parsjele ôflieden fan \(S \) mei respekt foar \(m \) en \(b \), en lossen wy dan dizze fergeliking op foar \(m \) en \(b \):
\[ \begin{útrjochte}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{útrjochte} \]
Nei ferienfâldiging krije wy de folgjende twa normale fergelikingen:
\[ \begin{útrjochte}
n\bar{y} & = m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i & = m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{útrjochte} \]
Troch it oplossen fan it boppesteande stelsel fan fergelikingen, kinne wy de wearden fan \(m \) en \(b \) fine dy't de kwadraatflater minimalisearje.
Meardere lineêre regresje
Yn meardere lineêre regresje steane wy foar in situaasje wêr't wy mear as ien ûnôfhinklike fariabele hawwe. Stel dat wy gegevens hawwe yn 'e foarm fan in tuple \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). It regresjemodel dat wy brûke is:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
Dizze fergeliking kin yn matriksfoarm skreaun wurde as:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Wêr:
– \( \mathbf{y} \) is in kolomvektor fan waarnommen y-wearden.
– \( \mathbf{X} \) is in matriks fan waarnommen x-wearden (ynklusyf kolom 1 foar it ynterseksjepunt).
– \( \mathbf{b} \) is in kolomfektor fan 'e parameters (ynklusyf \(b_0 \)).
It doel fan 'e metoade fan 'e minste kwadraten is om de folgjende kwadratyske flaterfunksje te minimalisearjen:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
Om dizze funksje te minimalisearjen, nimme wy de parsjele ôflate fan S mei respekt foar \( \mathbf{b} \) en sette dy op nul. Dit jout de normale fergeliking foar meardere lineêre regresje:
\[ \mathbf{X}^T \mathbf{X} = \mathbf{X}^T \mathbf{y} \]
Troch it oplossen fan it boppesteande stelsel fan fergelikingen, kinne wy in skatting krije fan de parameter \( \mathbf{b} \):
[ b = ( X^T X)^{-1} X^T y]
Foardielen en beheiningen
De metoade fan 'e minste kwadraten hat in protte foardielen. It is in tige effisjinte en ienfâldige metoade om te brûken. It biedt in unike oplossing as \( \mathbf{X}^T \mathbf{X} \) ynverteerber is, wêrtroch it betrouber is foar in protte praktyske tapassingen.
De metoade fan 'e minste kwadraten hat lykwols ek beheiningen. It is tige gefoelich foar útsjitters, om't de kwadraatflater grutte ferskillen mear beklammet as lytse. Fierder moat foldien wurde oan 'e klassike oanname dat de flaters in normale ferdieling hawwe mei nul gemiddelde en konstante fariânsje foar goede resultaten.
Praktyske tapassingen
De metoade fan 'e minste kwadraten' wurdt faak brûkt yn gegevenstrendanalyse, prognosen en masinelearen om foarsizzingsmodellen te bouwen. Yn 'e finansjele sektor wurdt de metoade fan 'e minste kwadraten brûkt om oandielprizen of merkprestaasjes te foarsizzen. Yn 'e medisinen wurdt it brûkt om de relaasje tusken medisyndosering en pasjintrespons te modellearjen. Yn 'e sosjale wittenskippen helpt it de relaasje tusken fariabelen lykas oplieding en ynkommen te begripen.
Konklúzje
De metoade fan 'e minste kwadraten' is ien fan 'e fûnemintele techniken yn statistyk en gegevensanalyse. Hoewol ienfâldich fan konsept, biedt dizze metoade wichtige krêft yn it modellearjen en begripen fan relaasjes tusken fariabelen. Mei wiidfersprate tapassingen oer in breed skala oan fjilden, is in goed begryp fan dizze metoade fan ûnskatbere wearde foar sawol professionals as ûndersikers. Yn 'e takomst, mei de tanimmende hoemannichte gegevens dy't tsjinkomme yn it tiidrek fan 'e grutte gegevens, sil de oanpassing en tapassing fan klassike metoaden lykas 'de minste kwadraten' allinich mar relevanter wurde.
