Metodo de Malplej Kvadratoj: Matematika Aliro al Takso
Pendahuluan
La metodo de plej malgrandaj kvadratoj estas statistika tekniko uzata por taksi parametrojn en regresmodelo minimumigante la sumon de la kvadrataj eraroj inter la realaj valoroj kaj la valoroj antaŭdiritaj de la modelo. Ĉi tiu metodo estas tre populara kaj ofte uzata en diversaj kampoj kiel ekonomiko, inĝenierarto, biologio kaj sociaj sciencoj. La koncepto de plej malgrandaj kvadratoj unue estis proponita de Adrien-Marie Legendre komence de la 19-a jarcento kaj poste pluevoluigita de Carl Friedrich Gauss.
Baza Kompreno
Ĝenerale, la metodo de plej malgrandaj kvadratoj celas trovi la plej bone taŭgan regreslinion por datumaro minimumigante la sumon de kvadratoj de la restoj, aŭ prognozaj eraroj. La resto estas la diferenco inter la observita valoro kaj la antaŭdirita valoro.
Se ni havas datumaron konsistantan el paroj de observoj ((x_1, y_1), (x_2, y_2), …, (x_n, y_n)), tiam nia celo estas trovi la linion (y = mx + b), kiu minimumigas la sumon de kvadrataj eraroj sum ( \sum_{i=1}^{n} (y_i – (mx_i + b))^2).
Ĉi tiu metodo aplikeblas kaj al simpla lineara regreso kaj al multobla lineara regreso. En simpla lineara regreso, ni havas nur unu sendependan variablon (x), dum multobla lineara regreso implikas pli ol unu sendependan variablon.
Simpla Lineara Regreso
Ni komencu per simpla lineara regreso. Supozu, ke ni havas datuman aron \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). La simpla lineara regresa modelo, kiun ni volas alĝustigi, estas:
\[ y = mx + b + ∈ \]
kie ∫(m) estas la deklivo, ∫(b) estas la intersekco, kaj ∫(epsilon) estas la hazarda eraro.
Uzante la metodon de plej malgrandaj kvadratoj, ni povas trovi taksojn de la parametroj ∫(m) kaj ∫(b) minimumigante la kvadratan erarfunkcion:
\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
Por minimumigi \(S(m, b)\) ni trovas la partajn derivaĵojn de \(S\) rilate al \(m\) kaj \(b\), kaj poste solvas ĉi tiun ekvacion por \(m\) kaj \(b\):
\[ \begin{aligned}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{vicigita} \]
Post simpligo, ni ricevas la jenajn du normalajn ekvaciojn:
\[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sumo_{i=1}^{n}x_i y_i &= m \sumo_{i=1}^{n}x_i^2 + b \sumo_{i=1}^{n}x_i
\end{vicigita} \]
Solvante la supran sistemon de ekvacioj, ni povas trovi la valorojn de ∫(m) kaj ∫(b) kiuj minimumigas la kvadratan eraron.
Multobla Lineara Regreso
En multobla lineara regreso, ni renkontas situacion kie ni havas pli ol unu sendependan variablon. Supozu, ke ni havas datumojn en la formo de tuplo \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). La regresmodelo, kiun ni uzas, estas:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + ∫\epsilon \]
Ĉi tiu ekvacio povas esti skribita en matrica formo kiel:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Kie:
– \( \mathbf{y} \) estas kolumna vektoro de observitaj y-valoroj.
– \( \mathbf{X} \) estas matrico de observitaj x-valoroj (inkluzive de kolumno 1 por la intersekco).
– \( \mathbf{b} \) estas kolumna vektoro de la parametroj (inkluzive de \( b_0 \)).
La celo de la metodo de plej malgrandaj kvadratoj estas minimumigi la jenan kvadratan erarfunkcion:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
Por minimumigi ĉi tiun funkcion, ni prenas la partan derivaĵon de S rilate al \( \mathbf{b} \) kaj metas ĝin al nulo. Tio donas la normalan ekvacion por multobla lineara regreso:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
Solvante la supre menciitan sistemon de ekvacioj, ni povas akiri takson de la parametro \( \mathbf{b} \):
\[ b = ( X T X) - 1 X T y
Avantaĝoj kaj Limigoj
La metodo de plej malgrandaj kvadratoj havas multajn avantaĝojn. Ĝi estas tre efika kaj simpla metodo por uzi. Ĝi ofertas unikan solvon se \( \mathbf{X}^T \mathbf{X} \) estas invertebla, igante ĝin fidinda por multaj praktikaj aplikoj.
Tamen, la metodo de plej malgrandaj kvadratoj ankaŭ havas limigojn. Ĝi estas tre sentema al outlier-oj ĉar la kvadrata eraro emfazas grandajn diferencojn pli ol malgrandajn. Krome, la klasika supozo, ke la eraroj havas normalan distribuon kun nula meznombro kaj konstanta varianco, devas esti plenumita por bonaj rezultoj.
Praktikaj Aplikoj
La metodo de plej malgrandaj kvadratoj estas ofte uzata en analizo de datumtendencoj, prognozado kaj maŝinlernado por konstrui prognozajn modelojn. En la financa industrio, la metodo de plej malgrandaj kvadratoj estas uzata por antaŭdiri akciprezojn aŭ merkatan rendimenton. En medicino, ĝi estas uzata por modeligi la rilaton inter dozo de medikamento kaj respondo de paciento. En la sociaj sciencoj, ĝi helpas kompreni la rilaton inter variabloj kiel edukado kaj enspezo.
Konkludo
La metodo de plej malgrandaj kvadratoj estas unu el la fundamentaj teknikoj en statistiko kaj datuma analizo. Kvankam koncepte simpla, ĉi tiu metodo ofertas signifan potencon en modelado kaj kompreno de rilatoj inter variabloj. Kun vastaj aplikoj tra vasta gamo da kampoj, solida kompreno de ĉi tiu metodo estas valorega por kaj profesiuloj kaj esploristoj. Estonte, kun la kreskanta volumeno de datumoj renkontataj en la epoko de grandaj datumoj, la adapto kaj apliko de klasikaj metodoj kiel ekzemple plej malgrandaj kvadratoj fariĝos pli kaj pli gravaj.
