Paraan ng Least Squares: Isang Pamamaraang Matematikal sa Pagtatantya
Panimula
Ang pamamaraan ng least squares ay isang istatistikal na pamamaraan na ginagamit upang tantyahin ang mga parameter sa isang modelo ng regresyon sa pamamagitan ng pagliit ng kabuuan ng mga squared error sa pagitan ng mga aktwal na halaga at mga halagang hinuhulaan ng modelo. Ang pamamaraang ito ay napakapopular at madalas na ginagamit sa iba't ibang larangan tulad ng ekonomiks, inhenyeriya, biyolohiya, at agham panlipunan. Ang konsepto ng least squares ay unang iminungkahi ni Adrien-Marie Legendre noong unang bahagi ng ika-19 na siglo at kalaunan ay higit pang binuo ni Carl Friedrich Gauss.
Pangunahing Pag-unawa
Sa pangkalahatan, ang pamamaraang least squares ay naglalayong hanapin ang pinakamahusay na akmang linya ng regresyon para sa isang hanay ng datos sa pamamagitan ng pagliit ng kabuuan ng mga parisukat ng mga residual, o mga error sa prediksyon. Ang residual ay ang pagkakaiba sa pagitan ng naobserbahang halaga at ng hinulaang halaga.
Kung mayroon tayong hanay ng datos na binubuo ng mga pares ng obserbasyon \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), ang ating layunin ay hanapin ang linya \(y = mx + b\) na nagpapaliit sa kabuuan ng mga parisukat na error sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
Ang pamamaraang ito ay maaaring ilapat sa parehong simpleng linear regression at multiple linear regression. Sa simpleng linear regression, mayroon lamang tayong isang independent variable (x), habang ang multiple linear regression ay nagsasangkot ng higit sa isang independent variable.
Simpleng Linear Regression
Magsimula tayo sa simpleng linear regression. Ipagpalagay na mayroon tayong data set na \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). Ang simpleng linear regression model na gusto nating iangkop ay:
\[ y = mx + b + \epsilon \]
kung saan ang \( m \) ay ang slope, ang \( b \) ay ang intercept, at ang \( \epsilon \) ay ang random error.
Gamit ang pamamaraang least squares, mahahanap natin ang mga pagtatantya ng mga parameter na \( m \) at \( b \) sa pamamagitan ng pagliit ng squared error function:
S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
Para mabawasan ang \( S(m, b) \), hahanapin natin ang mga partial derivatives ng \( S \) kaugnay ng \( m \) at \( b \), at pagkatapos ay lutasin ang equation na ito para sa \( m \) at \( b \):
\[ \begin{aligned}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]
Pagkatapos ng pagpapasimple, makukuha natin ang sumusunod na dalawang normal na equation:
\[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]
Sa pamamagitan ng paglutas ng sistema ng mga ekwasyon sa itaas, mahahanap natin ang mga halaga ng \( m \) at \( b \) na nagpapaliit sa squared error.
Maramihang Linear na Regresyon
Sa multiple linear regression, nahaharap tayo sa isang sitwasyon kung saan mayroon tayong higit sa isang independent variable. Ipagpalagay na mayroon tayong data sa anyo ng isang tuple \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). Ang modelo ng regresyon na ginagamit natin ay:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
Ang ekwasyon na ito ay maaaring isulat sa anyong matris bilang:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Saan:
– Ang \( \mathbf{y} \) ay isang column vector ng mga naobserbahang halaga ng y.
– Ang \( \mathbf{X} \) ay isang matrix ng mga naobserbahang halaga ng x (kabilang ang column 1 para sa intercept).
– Ang \( \mathbf{b} \) ay isang column vector ng mga parameter (kabilang ang \( b_0 \)).
Ang layunin ng pamamaraang least squares ay upang mabawasan ang sumusunod na quadratic error function:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
Para mabawasan ang tungkuling ito, kukunin natin ang partial derivative ng S kaugnay ng \( \mathbf{b} \) at itatakda ito sa zero. Magbubunga ito ng normal na equation para sa multiple linear regression:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
Sa pamamagitan ng paglutas ng sistema ng mga ekwasyon sa itaas, makakakuha tayo ng pagtatantya ng parametro \( \mathbf{b} \):
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Mga Kalamangan at Limitasyon
Maraming bentahe ang pamamaraang least squares. Ito ay isang napaka-epektibo at simpleng pamamaraan na gamitin. Nag-aalok ito ng kakaibang solusyon kung ang \( \mathbf{X}^T \mathbf{X} \) ay maaaring baligtarin, kaya maaasahan ito para sa maraming praktikal na aplikasyon.
Gayunpaman, ang pamamaraang least squares ay mayroon ding mga limitasyon. Ito ay napakasensitibo sa mga outlier dahil ang squared error ay mas nagbibigay-diin sa malalaking pagkakaiba kaysa sa maliliit. Bukod pa rito, ang klasikal na palagay na ang mga error ay may normal na distribusyon na may zero mean at constant variance ay dapat matugunan para sa magagandang resulta.
Mga Praktikal na Aplikasyon
Ang pamamaraang least squares ay kadalasang ginagamit sa pagsusuri ng trend ng datos, pagtataya, at machine learning upang bumuo ng mga predictive model. Sa industriya ng pananalapi, ang pamamaraang least squares ay ginagamit upang mahulaan ang mga presyo ng stock o pagganap ng merkado. Sa medisina, ginagamit ito upang imodelo ang ugnayan sa pagitan ng dosis ng gamot at tugon ng pasyente. Sa agham panlipunan, nakakatulong ito na maunawaan ang ugnayan sa pagitan ng mga baryabol tulad ng edukasyon at kita.
Konklusyon
Ang pamamaraang least squares ay isa sa mga pangunahing pamamaraan sa estadistika at pagsusuri ng datos. Bagama't simple ang konsepto, ang pamamaraang ito ay nag-aalok ng malaking kapangyarihan sa pagmomodelo at pag-unawa sa mga ugnayan sa pagitan ng mga baryabol. Dahil sa malawakang aplikasyon sa malawak na hanay ng mga larangan, ang matibay na pag-unawa sa pamamaraang ito ay napakahalaga para sa mga propesyonal at mananaliksik. Sa hinaharap, dahil sa pagtaas ng dami ng datos na nakatagpo sa panahon ng malaking datos, ang pag-aangkop at aplikasyon ng mga klasikong pamamaraan tulad ng least squares ay lalo lamang magiging mahalaga.
