Pamaagi sa Least Squares: Usa ka Pamaagi sa Matematika sa Pagbanabana
Pendahuluan
Ang pamaagi sa least squares usa ka teknik sa estadistika nga gigamit sa pagbanabana sa mga parameter sa usa ka modelo sa regresyon pinaagi sa pagminus sa suma sa mga squared error tali sa tinuod nga mga kantidad ug sa mga kantidad nga gitagna sa modelo. Kini nga pamaagi sikat kaayo ug kanunay nga gigamit sa lainlaing mga natad sama sa ekonomiya, inhenyeriya, biolohiya, ug mga siyensya sosyal. Ang konsepto sa least squares unang gisugyot ni Adrien-Marie Legendre sa sayong bahin sa ika-19 nga siglo ug sa ulahi gipalambo pa ni Carl Friedrich Gauss.
Batakang Pagsabot
Sa kinatibuk-an, ang least squares method nagtumong sa pagpangita sa best-fit regression line para sa usa ka data set pinaagi sa pagminus sa sum of squares sa mga residual, o mga prediction error. Ang residual mao ang kalainan tali sa naobserbahan nga bili ug sa gitagna nga bili.
Kon kita adunay data set nga gilangkoban sa mga pares sa mga obserbasyon \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), nan ang atong tumong mao ang pagpangita sa linya \(y = mx + b\) nga makapakunhod sa suma sa mga squared errors sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
Kini nga pamaagi magamit sa parehong simple linear regression ug multiple linear regression. Sa simple linear regression, usa ra ka independent variable (x) ang atong gigamit, samtang ang multiple linear regression naglambigit og labaw sa usa ka independent variable.
Yano nga Linear nga Regresyon
Magsugod kita sa simpleng linear regression. Pananglit naa tay data set nga \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). Ang simpleng linear regression model nga gusto natong ihaom mao ang:
\[ y = mx + b + \epsilon \]
diin ang \( m \) mao ang bakilid, ang \( b \) mao ang intercept, ug ang \( \epsilon \) mao ang random error.
Gamit ang least squares method, atong makit-an ang mga banabana sa mga parameter nga \( m \) ug \( b \) pinaagi sa pagminus sa squared error function:
S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
Aron maminusan ang \( S(m, b) \), atong pangitaon ang partial derivatives sa \( S \) kalabot sa \( m \) ug \( b \), ug dayon sulbara kini nga equation para sa \( m \) ug \( b \):
\[ \begin{aligned}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{gi-aligned} \]
Human sa pagpasimple, atong makuha ang mosunod nga duha ka normal nga equation:
\[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{gi-aligned} \]
Pinaagi sa pagsulbad sa sistema sa mga ekwasyon sa ibabaw, atong makit-an ang mga bili sa \( m \) ug \( b \) nga makapakunhod sa squared error.
Daghang Linear nga Regresyon
Sa multiple linear regression, mag-atubang kita og sitwasyon diin kita adunay labaw sa usa ka independent variable. Pananglit kita adunay datos sa porma sa usa ka tuple \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). Ang regression model nga atong gigamit mao ang:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
Kini nga ekwasyon mahimong isulat sa porma sa matrix sama sa mosunod:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Asa:
– Ang \( \mathbf{y} \) usa ka column vector sa naobserbahan nga mga kantidad sa y.
– Ang \( \mathbf{X} \) usa ka matrix sa naobserbahan nga mga kantidad sa x (lakip ang kolum 1 para sa intercept).
– Ang \( \mathbf{b} \) usa ka column vector sa mga parameter (lakip ang \( b_0 \)).
Ang tumong sa least squares method mao ang pagminus sa mosunod nga quadratic error function:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
Aron maminusan kini nga function, atong kuhaon ang partial derivative sa S kalabot sa \( \mathbf{b} \) ug ibutang kini sa zero. Kini moresulta sa normal nga equation para sa multiple linear regression:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
Pinaagi sa pagsulbad sa sistema sa mga ekwasyon sa ibabaw, makakuha kita og banabana sa parametro \( \mathbf{b} \):
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Mga Bentaha ug Limitasyon
Ang pamaagi sa least squares adunay daghang bentaha. Kini usa ka episyente ug sayon gamiton nga pamaagi. Nagtanyag kini og talagsaon nga solusyon kung ang \( \mathbf{X}^T \mathbf{X} \) mabaliktad, nga naghimo niini nga kasaligan alang sa daghang praktikal nga aplikasyon.
Apan, ang least squares method adunay usab mga limitasyon. Kini sensitibo kaayo sa mga outlier tungod kay ang squared error mas nagpasiugda sa dagkong mga kalainan kaysa gagmay. Dugang pa, ang klasikal nga pangagpas nga ang mga sayop adunay normal nga distribusyon nga adunay zero mean ug kanunay nga variance kinahanglan matuman alang sa maayong mga resulta.
Praktikal nga mga Aplikasyon
Ang pamaagi sa least squares kanunay nga gigamit sa pag-analisa sa uso sa datos, pagtagna, ug machine learning aron makahimo og mga predictive model. Sa industriya sa pinansya, ang pamaagi sa least squares gigamit aron matagna ang presyo sa stock o performance sa merkado. Sa medisina, gigamit kini aron pagmodelo sa relasyon tali sa dosis sa tambal ug tubag sa pasyente. Sa social sciences, makatabang kini sa pagsabot sa relasyon tali sa mga variable sama sa edukasyon ug kita.
Konklusyon
Ang pamaagi sa least squares usa sa mga pundamental nga teknik sa estadistika ug pag-analisar sa datos. Samtang yano ra ang konsepto, kini nga pamaagi nagtanyag og dakong gahum sa pagmodelo ug pagsabot sa mga relasyon tali sa mga variable. Uban sa kaylap nga aplikasyon sa lain-laing mga natad, ang lig-on nga pagsabot niini nga pamaagi bililhon kaayo alang sa mga propesyonal ug mga tigdukiduki. Sa umaabot, uban sa nagkadaghan nga datos nga nasugatan sa panahon sa dagkong datos, ang pagpahiangay ug paggamit sa mga klasikal nga pamaagi sama sa least squares mahimong labi ka may kalabutan.
