Pamaagi sa Least Squares: Usa ka Komprehensibo nga Pagtuki
Ang Least Squares Method usa sa pinaka-pundamental nga mga teknik sa statistical regression analysis, nga adunay importanteng papel sa data fitting, modeling, ug predictive analysis. Kini usa ka mathematical approach nga nagpamenos sa suma sa mga kwadro sa mga kalainan tali sa naobserbahan ug gitagna nga mga kantidad. Pinaagi niini, kini naghatag sa labing haom nga linya o kurba sa usa ka gihatag nga hugpong sa mga data point. Niini nga artikulo, atong susihon ang mga pundasyon, aplikasyon, derivasyon, ug mga limitasyon sa Least Squares Method.
Kasaysayan sa kagikan
Ang Least Squares Method unang gipaila ni Carl Friedrich Gauss niadtong 1795 sa edad nga 18, bisan wala kini gipatik hangtod sa 1809. Si Adrien-Marie Legendre, laing prominenteng matematiko, independente nga nagpalambo ug nagpatik sa susamang pamaagi niadtong 1805. Bisan pa niini, ang notasyon ni Gauss ug ang pagpalapad sa pamaagi nagpahimutang sa pundasyon alang sa modernong paggamit.
Mathematical Foundation
Sa pinakasimple nga porma niini, ang Least Squares Method gigamit aron mohaom sa usa ka linear model sa usa ka set sa data points. Kung gihatagan og set sa `n` data points \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), ang tumong mao ang pagpangita og linya \(y = mx + c\) nga mopakunhod sa suma sa mga kwadro sa bertikal nga distansya (mga nahabilin) tali sa naobserbahan nga mga kantidad \(y_i\) ug sa mga kantidad nga gitagna sa linya \(\hat{y}_i\).
Sa matematika, kini nga tumong mahimong irepresentar sama sa:
\[ S = \sum_{i=1}^{n} (y_i – \hat{y}_i)^2 = \sum_{i=1}^{n} (y_i – (mx_i + c))^2 \]
Kini nga ekwasyon nagrepresentar sa suma sa mga kwadro sa mga nahabilin, \(S\), ug ang atong tumong mao ang pagpangita sa mga bili sa \(m\) (slope) ug \(c\) (intercept) nga makapakunhod sa \(S\).
Pagkuha
Aron makit-an ang mga bili sa \(m\) ug \(c\) nga makapakunhod sa suma sa mga kwadro \(S\), atong kuhaon ang partial derivatives sa \(S\) kalabot sa \(m\) ug \(c\) ug ibutang kini sa zero.
1. Partial Derivative kalabot sa \(m\):
\[ \frac{\partial S}{\partial m} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-x_i) = 0 \]
2. Partial Derivative kalabot sa \(c\):
\[ \frac{\partial S}{\partial c} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-1) = 0 \]
Ang pagsulbad niining dungan nga mga ekwasyon moresulta sa normal nga mga ekwasyon:
\[ m = \frac{n(\sum x_i y_i) – (\sum x_i)(\sum y_i)}{n (\sum x_i^2) – (\sum x_i)^2} \]
\[ c = \frac{(\sum y_i)(\sum x_i^2) – (\sum x_i)(\sum x_i y_i)}{n(\sum x_i^2) – (\sum x_i)^2} \]
Kini nga mga ekwasyon naghatag kanato sa mga bili sa \(m\) ug \(c\) nga nagpamenos sa suma sa mga kuwadrado nga residual.
aplikasyon
Ang Least Squares Method adunay halapad nga aplikasyon sa lain-laing mga natad:
1. Ekonomiks ug Pinansya: Gigamit sa pagmodelo ug pagtagna sa mga indikasyon sa ekonomiya sama sa GDP, mga rate sa implasyon, ug mga presyo sa stock.
2. Inhenyeriya: Gigamit sa pagproseso sa signal, mga sistema sa pagkontrol, ug pagsulay sa kasaligan aron mohaom ang mga modelo sa empirikal nga datos.
3. Medisina: Makatabang sa pagpahaom sa mga kurba sa pagtubo, mga kurba sa dosis-response, ug uban pang mga proseso sa biyolohikal ngadto sa datos sa eksperimento.
4. Machine Learning: Ang mga linear regression model, nga kanunay naggamit sa Least Squares Method para sa pagbanabana sa parameter, mao ang pundasyon sa mga teknik sa supervised learning.
5. Astronomiya: Gigamit kaniadto ni Gauss aron makalkulo ang mga orbito sa mga butang sa kalangitan.
Mga Baryasyon ug mga Ekstensyon
1. Weighted Least Squares: Sa mga kaso diin ang mga obserbasyon adunay lainlaing mga variance, ang Weighted Least Squares nag-assign og mga gibug-aton sa matag data point, nga nagpamenos sa weighted sum sa mga kwadro.
2. Non-linear Least Squares: Gipalapdan ang pamaagi aron mohaom sa mga non-linear nga modelo, kasagaran pinaagi sa mga iterative nga teknik sama sa Gauss-Newton o Levenberg-Marquardt algorithms.
3. Regularized Least Squares (Ridge Regression): Nagdugang og penalty term sa suma sa mga squares aron malikayan ang overfitting, labi na nga mapuslanon kung nag-atubang sa multicollinearity.
4. Generalized Least Squares: Nag-asoy sa mga correlated nga obserbasyon, nga nagpalapad sa least squares nga pamaagi aron madumala ang autocorrelated ug heteroscedastic nga mga sayop.
Mga Himan sa Komputasyon
Nagkalain-laing mga himan sa software ug mga palibot sa programming ang nagtanyag og built-in nga mga gimbuhaton para sa paghimo sa least squares regression:
1. Python: Ang mga librarya sama sa NumPy ug SciPy naghatag og mga gimbuhaton nga `numpy.linalg.lstsq` ug `scipy.optimize.curve_fit` para sa linear ug non-linear least squares fitting, matag usa.
2. R: Mga gimbuhaton sama sa `lm()` para sa mga linear nga modelo ug `nls()` para sa mga non-linear nga modelo sa komprehensibo nga palibot sa estadistika sa R.
3. MATLAB: Ang function nga `lsqcurvefit` sa MATLAB gigamit para sa non-linear fitting, nga adunay built-in nga suporta para sa linear algebra operations.
limitasyon
Bisan pa sa lapad nga paggamit niini, ang Least Squares Method adunay mga limitasyon:
1. Sensitibo sa mga Outlier: Ang Least Squares sensitibo kaayo sa mga outlier, tungod kay ang squared term nagpadako sa epekto sa dagkong mga residual.
2. Pag-assume sa Linearity: Nag-assume og linear nga relasyon tali sa mga variable, nga mahimong dili tinuod alang sa komplikado nga mga dataset.
3. Mga Isyu sa Multicollinearity: Sa multiple linear regression, ang multicollinearity tali sa mga predictor variable mahimong makatuis sa pagbanabana sa mga coefficients.
4. Homogeneity sa Variance (Homoscedasticity): Nagtuo nga ang variance sa mga termino sa sayop kanunay sa mga obserbasyon, nga mahimong dili kanunay mao ang kaso.
Panapos
Ang Least Squares Method, bisan pa sa karaan na niini, nagpabilin nga usa ka pundasyon sa statistical data analysis ug modeling. Ang kayano, kaepektibo, ug pagkaangay niini sa nagkalain-laing porma, gikan sa basic linear regression ngadto sa komplikado nga non-linear ug generalized models, naghimo niini nga bililhon kaayo. Ang pagsabot sa mga pundasyon sa matematika, aplikasyon, ug mga limitasyon niini hinungdanon alang sa bisan kinsa nga nalambigit sa data analysis, aron masiguro nga ang pamaagi magamit sa hustong paagi aron makakuha og makahuluganon nga mga panabut. Bisan sa akademya o industriya, ang Least Squares Method nagpadayon nga usa ka lig-on nga himan alang sa pagsabot sa mga relasyon sulod sa datos ug paghimo og mga panagna nga may kahibalo.
