Aðferð minnstu kvaðrata: Stærðfræðileg nálgun á mati
Pendahuluan
Aðferð minnstu kvaðrata er tölfræðileg aðferð sem notuð er til að meta breytur í aðhvarfsgreiningarlíkani með því að lágmarka summu ferningavillna milli raunverulegra gilda og þeirra gilda sem líkanið spáir fyrir um. Þessi aðferð er mjög vinsæl og er oft notuð á ýmsum sviðum eins og hagfræði, verkfræði, líffræði og félagsvísindum. Hugtakið minnstu kvaðrata var fyrst lagt til af Adrien-Marie Legendre snemma á 19. öld og var síðar þróað áfram af Carl Friedrich Gauss.
Grunnskilningur
Almennt miðar aðferð minnstu kvaðrata að því að finna bestu aðhvarfslínuna fyrir gagnasafn með því að lágmarka summu kvaðrata leifanna, eða spávillna. Leifarnir eru mismunurinn á mældum gildi og spáðum gildi.
Ef við höfum gagnasafn sem samanstendur af pörum af athugunum \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), þá er markmið okkar að finna línuna \(y = mx + b\) sem lágmarkar summu ferningavillnanna summa\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
Þessa aðferð er hægt að nota bæði við einfalda línulega aðhvarfsgreiningu og margfalda línulega aðhvarfsgreiningu. Í einfaldri línulegri aðhvarfsgreiningu höfum við aðeins eina óháða breytu (x), en margfalda línulega aðhvarfsgreiningu felur í sér fleiri en eina óháða breytu.
Einföld línuleg aðhvarfsgreining
Byrjum á einfaldri línulegri aðhvarfsgreiningu. Segjum sem svo að við höfum gagnasafn \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). Einfalda línulega aðhvarfsgreiningin sem við viljum aðlaga er:
\[y = mx + b + µp \]
þar sem \(m \) er hallatala, \(b \) er skurðpunkturinn og \(epsilon \) er handahófskennd villa.
Með því að nota aðferð minnstu kvaðrata getum við fundið mat á breytunum \(m \) og \(b \) með því að lágmarka ferningavillufallið:
[S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
Til að lágmarka S(m, b)) finnum við hlutaafleiður S með tilliti til m og b og leysum síðan þessa jöfnu fyrir m og b):
\[ \begin{aligned}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]
Eftir einföldun fáum við eftirfarandi tvær normaljöfnur:
\[ \begin{aligned}
n\bar{y} & = m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i & = m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]
Með því að leysa jöfnukerfið hér að ofan getum við fundið gildin á \(m \) og \(b \) sem lágmarka ferningavilluna.
Margfeldi línuleg aðhvarfsgreining
Í margfaldri línulegri aðhvarfsgreiningu stöndum við frammi fyrir aðstæðum þar sem við höfum fleiri en eina óháða breytu. Segjum sem svo að við höfum gögn í formi tvíþátta \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). Aðhvarfsgreiningarlíkanið sem við notum er:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
Þessa jöfnu má rita á fylkisformi sem:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Hvar:
– \( \mathbf{y} \) er dálkvigur af mældum y-gildum.
– \( \mathbf{X} \) er fylki af mældum x gildum (þar með talið dálkur 1 fyrir skurðpunktinn).
– \( \mathbf{b} \) er dálkavigur breytanna (þar með talið \(b_0 \)).
Markmið minnstu kvaðrata aðferðarinnar er að lágmarka eftirfarandi annars stigs villufall:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
Til að lágmarka þetta fall tökum við hlutaafleiðu S með tilliti til \( \mathbf{b} \) og setjum hana á núll. Þetta gefur normaljöfnuna fyrir margfalda línulega aðhvarfsgreiningu:
[\mathbf{X}^T \mathbf{X} = \mathbf{X}^T \mathbf{y}]
Með því að leysa jöfnukerfið hér að ofan getum við fengið mat á breytunni \( \mathbf{b} \):
[\mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Kostir og takmarkanir
Aðferð minnstu kvaðrata hefur marga kosti. Hún er mjög skilvirk og einföld í notkun. Hún býður upp á einstaka lausn ef \( \mathbf{X}^T \mathbf{X} \) er ósnúanleg, sem gerir hana áreiðanlega fyrir margar hagnýtar notkunarmöguleika.
Hins vegar hefur aðferð minnstu kvaðrata einnig takmarkanir. Hún er mjög viðkvæm fyrir útlægum gildum því að ferningavillan leggur meiri áherslu á stóra mismun en litla. Ennfremur verður að uppfylla hefðbundnu forsenduna um að villurnar hafi normaldreifingu með núllmeðaltali og fasta dreifni til að ná góðum árangri.
Hagnýt notkun
Aðferð minnstu kvaðrata er oft notuð í greiningu gagnaþróunar, spágerð og vélanámi til að smíða spálíkön. Í fjármálageiranum er aðferð minnstu kvaðrata notuð til að spá fyrir um hlutabréfaverð eða markaðsárangur. Í læknisfræði er hún notuð til að líkja eftir tengslum milli lyfjaskammta og svörunar sjúklinga. Í félagsvísindum hjálpar hún til við að skilja tengslin milli breyta eins og menntunar og tekna.
Niðurstaða
Aðferð minnstu kvaðrata er ein af grundvallaraðferðum í tölfræði og gagnagreiningu. Þó að þessi aðferð sé einföld í hugtaki býður hún upp á verulegan kraft í gerð líkana og skilningi á tengslum milli breyta. Með útbreiddri notkun á fjölbreyttum sviðum er traustur skilningur á þessari aðferð ómetanlegur fyrir bæði fagfólk og vísindamenn. Í framtíðinni, með vaxandi magni gagna sem koma upp á tímum stórgagna, mun aðlögun og notkun klassískra aðferða eins og minnstu kvaðrata aðeins verða sífellt mikilvægari.
