Метад найменшых квадратаў: матэматычны падыход да ацэнкі
Пендахулуан
Метад найменшых квадратаў — гэта статыстычны метад, які выкарыстоўваецца для ацэнкі параметраў у рэгрэсійнай мадэлі шляхам мінімізацыі сумы квадратаў памылак паміж фактычнымі значэннямі і значэннямі, прадказанымі мадэллю. Гэты метад вельмі папулярны і часта выкарыстоўваецца ў розных галінах, такіх як эканоміка, інжынерыя, біялогія і сацыяльныя навукі. Канцэпцыя найменшых квадратаў была ўпершыню прапанавана Адрыенам-Мары Лежандрам у пачатку XIX стагоддзя, а пазней была далей развіта Карлам Фрыдрыхам Гаўсам.
Асноўнае разуменне
У цэлым, метад найменшых квадратаў накіраваны на пошук найлепшай лініі рэгрэсіі для набору дадзеных шляхам мінімізацыі сумы квадратаў рэшткаў або памылак прагназавання. Рэштка - гэта розніца паміж назіраным значэннем і прагназаваным значэннем.
Калі ў нас ёсць набор дадзеных, які складаецца з пар назіранняў ((x_1, y_1), (x_2, y_2), …, (x_n, y_n)), то наша мэта — знайсці прамую (y = mx + b), якая мінімізуе суму квадратаў памылак ( \sum_{i=1}^{n} (y_i – (mx_i + b))^2).
Гэты метад можна ўжываць як да простай лінейнай рэгрэсіі, так і да множнай лінейнай рэгрэсіі. У простай лінейнай рэгрэсіі ў нас ёсць толькі адна незалежная зменная (x), у той час як множная лінейная рэгрэсія ўключае больш за адну незалежную зменную.
Простая лінейная рэгрэсія
Пачнем з простай лінейнай рэгрэсіі. Дапусцім, у нас ёсць набор дадзеных \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). Простая мадэль лінейнай рэгрэсіі, якую мы хочам апраксімаваць, выглядае наступным чынам:
\[y = mx + b + \epsilon \]
дзе m — нахіл квадраціну, b — кропка перасячэння з воссю квадраціну, а ε — выпадковая памылка.
Выкарыстоўваючы метад найменшых квадратаў, мы можам знайсці ацэнкі параметраў m і b шляхам мінімізацыі функцыі квадратычнай памылкі:
S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
Каб мінімізаваць \(S(m, b)\), мы знаходзім частковыя вытворныя ад \(S\) адносна \(m\) і \(b\), а затым вырашаем гэтае ўраўненне адносна \(m\) і \(b\):
\[ \begin{выраўнавана}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{выраўнавана} \]
Пасля спрашчэння атрымліваем наступныя два нармальныя ўраўненні:
\[ \begin{выраўнавана}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{выраўнавана} \]
Рашыўшы прыведзеную вышэй сістэму ўраўненняў, мы можам знайсці значэнні \(m\) і \(b\), якія мінімізуюць квадратычную памылку.
Множная лінейная рэгрэсія
У множнай лінейнай рэгрэсіі мы сутыкаемся з сітуацыяй, калі ў нас ёсць больш за адну незалежнаю зменную. Дапусцім, у нас ёсць дадзеныя ў выглядзе набору \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). Рэгрэсійная мадэль, якую мы выкарыстоўваем:
\[y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
Гэтае ўраўненне можна запісаць у матрычнай форме наступным чынам:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Дзе:
– \( \mathbf{y} \) — вектар-слупок назіраных значэнняў y.
– \( \mathbf{X} \) — гэта матрыца назіраных значэнняў x (уключаючы слупок 1 для перасячэння з воссю).
– \( \mathbf{b} \) — вектар-слупок параметраў (у тым ліку \( b_0 \)).
Мэта метаду найменшых квадратаў — мінімізаваць наступную квадратычную функцыю памылкі:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
Каб мінімізаваць гэтую функцыю, мы бярэм частковую вытворную ад S адносна \( \mathbf{b} \) і прыраўноўваем яе да нуля. Гэта дае нармальнае ўраўненне для множнай лінейнай рэгрэсіі:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
Рашыўшы прыведзеную вышэй сістэму ўраўненняў, мы можам атрымаць ацэнку параметра \( \mathbf{b} \):
\mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Перавагі і абмежаванні
Метад найменшых квадратаў мае шмат пераваг. Гэта вельмі эфектыўны і просты ў выкарыстанні метад. Ён прапануе ўнікальнае рашэнне, калі \( \mathbf{X}^T \mathbf{X} \) з'яўляецца адваротнай, што робіць яго надзейным для многіх практычных ужыванняў.
Аднак метад найменшых квадратаў таксама мае абмежаванні. Ён вельмі адчувальны да выкідаў, таму што квадрат памылкі падкрэслівае вялікія адрозненні больш, чым малыя. Акрамя таго, для атрымання добрых вынікаў неабходна выконваць класічнае меркаванне, што памылкі маюць нармальнае размеркаванне з нулявым сярэднім значэннем і пастаяннай дысперсіяй.
Практычнае прымяненне
Метад найменшых квадратаў часта выкарыстоўваецца ў аналізе тэндэнцый дадзеных, прагназаванні і машынным навучанні для стварэння прагнастычных мадэляў. У фінансавай галіне метад найменшых квадратаў выкарыстоўваецца для прагназавання цэн на акцыі або паказчыкаў рынку. У медыцыне ён выкарыстоўваецца для мадэлявання сувязі паміж дозай лекаў і рэакцыяй пацыента. У сацыяльных навуках ён дапамагае зразумець сувязь паміж такімі зменнымі, як адукацыя і даход.
Выснова
Метад найменшых квадратаў — адзін з фундаментальных метадаў статыстыкі і аналізу дадзеных. Нягледзячы на простую канцэпцыю, гэты метад прапануе значныя магчымасці для мадэлявання і разумення ўзаемасувязяў паміж зменнымі. Дзякуючы шырокаму прымяненню ў самых розных галінах, добрае разуменне гэтага метаду мае неацэннае значэнне як для спецыялістаў, так і для даследчыкаў. У будучыні, з ростам аб'ёму дадзеных, з якімі сутыкаюцца ў эпоху вялікіх дадзеных, адаптацыя і прымяненне класічных метадаў, такіх як найменшыя квадраты, будуць станавіцца ўсё больш актуальнымі.
