Метод на най-малките квадрати: Математически подход към оценката
Пендахулуан
Методът на най-малките квадрати е статистическа техника, използвана за оценка на параметрите в регресионен модел чрез минимизиране на сумата от квадратите на грешките между действителните стойности и стойностите, предсказани от модела. Този метод е много популярен и често се използва в различни области като икономика, инженерство, биология и социални науки . Концепцията за най-малките квадрати е предложена за първи път от Адриен-Мари Лежандр в началото на 19 век и по-късно е доразвита от Карл Фридрих Гаус.
Основно разбиране
Като цяло, методът на най-малките квадрати има за цел да намери най-подходящата регресионна линия за набор от данни чрез минимизиране на сумата от квадратите на остатъците или грешките при прогнозиране. Остатъкът е разликата между наблюдаваната стойност и прогнозираната стойност.
Ако имаме набор от данни , състоящ се от двойки наблюдения ((x_1, y_1), (x_2, y_2), …, (x_n, y_n)), тогава нашата цел е да намерим правата (y = mx + b), която минимизира сумата от квадратите на грешките sum(sum_{i=1}^{n} (y_i – (mx_i + b))^2 ).
Този метод може да се приложи както към проста линейна регресия, така и към множествена линейна регресия. В простата линейна регресия имаме само една независима променлива (x), докато множествената линейна регресия включва повече от една независима променлива.
Проста линейна регресия
Нека започнем с проста линейна регресия. Да предположим, че имаме набор от данни \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). Моделът на проста линейна регресия, който искаме да напаснем, е:
\[y = mx + b + \epsilon \]
където m е наклонът, b е пресечната точка и ε е случайната грешка.
Използвайки метода на най-малките квадрати, можем да намерим оценки на параметрите m и b, като минимизираме функцията на квадратната грешка:
S(m, b) = (sum_{i=1}^{n} (y_i – (mx_i + b))^2)
За да минимизираме \(S(m, b)\), намираме частните производни на \(S\) спрямо \(m\) и \(b\) и след това решаваме това уравнение за \(m\) и \(b\):
\[ \begin{подравнено}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{подравнено} \]
След опростяване получаваме следните две нормални уравнения:
\[ \begin{подравнено}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{подравнено} \]
Чрез решаване на системата от уравнения по-горе, можем да намерим стойностите на \(m\) и \(b\), които минимизират квадратичната грешка.
Множествена линейна регресия
При множествена линейна регресия се сблъскваме със ситуация, в която имаме повече от една независима променлива. Да предположим, че имаме данни под формата на набор (x_{i1}, x_{i2}, …, x_{ik}, y_i)). Регресионният модел, който използваме, е:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
Това уравнение може да се запише в матрична форма като:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Къде:
– \( \mathbf{y} \) е вектор-стълб от наблюдавани стойности на y.
– \( \mathbf{X} \) е матрица от наблюдавани стойности на x (включително колона 1 за пресечната точка).
– \( \mathbf{b} \) е вектор-колона на параметрите (включително \( b_0 \)).
Целта на метода на най-малките квадрати е да се минимизира следната функция на квадратична грешка:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
За да минимизираме тази функция, вземаме частната производна на S спрямо \( \mathbf{b} \) и я задаваме на нула. Това води до нормалното уравнение за множествена линейна регресия:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
Чрез решаване на системата от уравнения по-горе, можем да получим оценка на параметъра \mathbf{b} \):
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Предимства и ограничения
Методът на най-малките квадрати има много предимства. Той е много ефикасен и лесен за използване метод. Той предлага уникално решение, ако \( \mathbf{X}^T \mathbf{X} \) е обратима, което го прави надежден за много практически приложения.
Методът на най-малките квадрати обаче има и ограничения. Той е много чувствителен към отклонения, защото квадратичната грешка подчертава големите разлики повече от малките. Освен това, за добри резултати трябва да се спази класическото предположение, че грешките имат нормално разпределение с нулева средна стойност и постоянна дисперсия.
Практически приложения
Методът на най-малките квадрати често се използва в анализа на тенденциите в данните, прогнозирането и машинното обучение за изграждане на предсказващи модели. Във финансовата индустрия методът на най-малките квадрати се използва за прогнозиране на цените на акциите или пазарните резултати. В медицината се използва за моделиране на връзката между дозата на лекарството и реакцията на пациента. В социалните науки той помага да се разбере връзката между променливи като образование и доход.
Заключение
Методът на най-малките квадрати е една от фундаменталните техники в статистиката и анализа на данни. Макар и прост по концепция, този метод предлага значителна мощ при моделирането и разбирането на връзките между променливите. С широко разпространените си приложения в широк спектър от области, солидното разбиране на този метод е безценно както за професионалисти, така и за изследователи. В бъдеще, с нарастващия обем данни, с които се сблъскваме в ерата на големите данни, адаптирането и прилагането на класически методи, като например метода на най-малките квадрати, ще става все по-актуално.
