Ең кіші квадраттар әдісі: кешенді талдау
Ең кіші квадраттар әдісі статистикалық регрессиялық талдаудағы ең негізгі әдістердің бірі болып табылады, деректерді сәйкестендіруде, модельдеуде және болжамды талдауда маңызды рөл атқарады. Бұл бақыланатын және болжамды мәндер арасындағы айырмашылықтардың квадраттарының қосындысын азайтатын математикалық тәсіл. Осылайша, ол берілген деректер нүктелері жиынтығына ең жақсы сәйкес келетін сызықты немесе қисықты қамтамасыз етеді. Бұл мақалада біз Ең кіші квадраттар әдісінің негіздерін, қолданылуын, туындыларын және шектеулерін қарастырамыз.
Тарихи негіз
Ең кіші квадраттар әдісін алғаш рет 1795 жылы 18 жасында Карл Фридрих Гаусс енгізген, бірақ ол 1809 жылға дейін жарияланбаған. Тағы бір көрнекті математик Адриан-Мари Лежандр осыған ұқсас әдісті 1805 жылы өз бетінше жасап шығарып, жариялады. Осыған қарамастан, Гаусстың белгілеуі және әдісті кеңейтуі қазіргі заманғы қолданыстың негізін қалады.
Математикалық негіз
Қарапайым түрінде, ең кіші квадраттар әдісі сызықтық модельді деректер нүктелерінің жиынына сәйкестендіру үшін қолданылады. `n` деректер нүктелерінің жиыны \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\) берілгенде, мақсат - бақыланатын мәндер \(y_i\) мен \(\hat{y}_i\) сызығымен болжанған мәндер арасындағы тік қашықтықтардың (қалдықтардың) квадраттарының қосындысын минимумға келтіретін \(y = mx + c\) түзуін табу.
Математикалық тұрғыдан бұл мақсатты келесідей көрсетуге болады:
\[ S = \sum_{i=1}^{n} (y_i – \hat{y}_i)^2 = \sum_{i=1}^{n} (y_i – (mx_i + c))^2 \]
Бұл теңдеу қалдықтардың квадраттарының қосындысын, \(S\), білдіреді, және біздің мақсатымыз - \(S\) минимумдайтын \(m\) (көлбеу) және \(c\) (қиылысу нүктесі) мәндерін табу.
Туынды
\(m\) және \(c\) мәндерінің \(S\) квадраттарының қосындысын минимумдайтынын табу үшін, \(S\) мәнінің \(m\) және \(c\) мәндеріне қатысты дербес туындыларын алып, оларды нөлге теңдейміз.
1. \(m\) бойынша жартылай туынды:
\[ \frac{\partial S}{\partial m} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-x_i) = 0 \]
2. \(c\) бойынша жартылай туынды:
\[ \frac{\partial S}{\partial c} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-1) = 0 \]
Осы теңдеулерді бір мезгілде шешу нәтижесінде қалыпты теңдеулер алынады:
\[ m = \frac{n(\sum x_i y_i) – (\sum x_i)(\sum y_i)}{n (\sum x_i^2) – (\sum x_i)^2} \]
\[ c = \frac{(\sum y_i)(\sum x_i^2) – (\sum x_i)(\sum x_i y_i)}{n(\sum x_i^2) – (\sum x_i)^2} \]
Бұл теңдеулер бізге қалдықтардың квадрат қосындысын минимумдайтын \(m\) және \(c\) мәндерін береді.
Бағдарламалар
Ең кіші квадраттар әдісі әртүрлі салаларда кеңінен қолданылады:
1. Экономика және қаржы: ЖІӨ, инфляция деңгейі және акция бағалары сияқты экономикалық көрсеткіштерді модельдеу және болжау үшін қолданылады.
2. Инженерия: Модельдерді эмпирикалық деректерге сәйкестендіру үшін сигналдарды өңдеуде, басқару жүйелерінде және сенімділікті сынауда қолданылады.
3. Медицина: өсу қисықтарын, дозаға жауап қисықтарын және басқа да биологиялық процестерді тәжірибелік деректерге сәйкестендіруге көмектеседі.
4. Машиналық оқыту: Параметрлерді бағалау үшін көбінесе ең кіші квадраттар әдісін қолданатын сызықтық регрессиялық модельдер бақыланатын оқыту әдістерінің негізі болып табылады.
5. Астрономия: Гаусс аспан денелерінің орбиталарын есептеу үшін тарихи түрде қолданған.
Вариациялар мен кеңейтімдер
1. Ең кіші салмақталған квадраттар: Бақылаулар әртүрлі дисперсияларға ие болған жағдайларда, ең кіші салмақталған квадраттар әрбір деректер нүктесіне салмақ береді, квадраттардың салмақталған қосындысын азайтады.
2. Сызықтық емес ең кіші квадраттар: Әдісті сызықтық емес модельдерге сәйкестендіру үшін кеңейтеді, көбінесе Гаусс-Ньютон немесе Левенберг-Маркварт алгоритмдері сияқты итеративті әдістер арқылы.
3. Регуляризацияланған ең кіші квадраттар (Жоғарғы регрессия): Шамадан тыс сәйкестендіруді болдырмау үшін квадраттар қосындысына айыппұл мүшесін қосады, бұл әсіресе мультиколлинеарлықпен жұмыс істегенде пайдалы.
4. Жалпыланған ең кіші квадраттар: корреляциялық бақылауларды ескереді, ең кіші квадраттар әдісін автокорреляциялық және гетероскедастикалық қателерді өңдеу үшін кеңейтеді.
Есептеу құралдары
Әртүрлі бағдарламалық құралдар мен бағдарламалау орталары ең кіші квадраттар регрессиясын орындау үшін кіріктірілген функцияларды ұсынады:
1. Python: NumPy және SciPy сияқты кітапханалар сызықтық және сызықтық емес ең кіші квадраттарды сәйкестендіру үшін сәйкесінше `numpy.linalg.lstsq` және `scipy.optimize.curve_fit` функцияларын ұсынады.
2. R: R кешенді статистикалық ортасында сызықтық модельдер үшін `lm()` және сызықтық емес модельдер үшін `nls()` сияқты функциялар.
3. MATLAB: MATLAB-тағы `lsqcurvefit` функциясы сызықтық емес сәйкестендіру үшін қолданылады, сызықтық алгебра операцияларын қолдау үшін кіріктірілген.
шектеулер
Кең қолданылуына қарамастан, ең кіші квадраттар әдісінің шектеулері бар:
1. Шектеулі мәндерге сезімталдық: Ең кіші квадраттар шектік мәндерге өте сезімтал, себебі квадрат термині үлкен қалдықтардың әсерін күшейтеді.
2. Сызықтықты қабылдау: айнымалылар арасындағы сызықтық байланысты қабылдайды, бұл күрделі деректер жиынтықтары үшін дұрыс болмауы мүмкін.
3. Мультиколлинеарлық мәселелері: Көптік сызықтық регрессияда болжаушы айнымалылар арасындағы мультиколлинеарлық коэффициенттерді бағалауды бұрмалауы мүмкін.
4. Дисперсияның біртектілігі (гомоскедастикалық): Қателік шарттарының дисперсиясы бақылаулар бойынша тұрақты деп есептеледі, бұл әрқашан бола бермеуі мүмкін.
қорытынды
Ең кіші квадраттар әдісі, өзінің жасына қарамастан, статистикалық деректерді талдау мен модельдеуде негізгі тас болып қала береді. Оның қарапайымдылығы, тиімділігі және негізгі сызықтық регрессиядан бастап күрделі сызықтық емес және жалпыланған модельдерге дейінгі әртүрлі формаларға бейімделуі оны баға жетпес етеді. Оның математикалық негіздерін, қолданылуын және шектеулерін түсіну деректерді талдаумен айналысатын кез келген адам үшін маңызды, бұл әдістің мағыналы түсініктер алу үшін тиісті түрде қолданылуын қамтамасыз етеді. Академиялық ортада немесе өнеркәсіпте болсын, Ең кіші квадраттар әдісі деректер ішіндегі байланыстарды түсіну және негізделген болжамдар жасау үшін сенімді құрал болып қала береді.
