Ең кіші квадраттар әдісі: бағалауға математикалық тәсіл
Пендахулуан
Ең кіші квадраттар әдісі - регрессиялық модельдегі параметрлерді бағалау үшін қолданылатын статистикалық әдіс, ол нақты мәндер мен модель болжаған мәндер арасындағы квадраттық қателіктердің қосындысын азайту арқылы жүзеге асырылады. Бұл әдіс өте танымал және экономика, инженерия, биология және әлеуметтік ғылымдар сияқты әртүрлі салаларда жиі қолданылады. Ең кіші квадраттар тұжырымдамасын алғаш рет 19 ғасырдың басында Адриан-Мари Лежандр ұсынған және кейінірек Карл Фридрих Гаусс одан әрі дамытты.
Негізгі түсінік
Жалпы алғанда, ең кіші квадраттар әдісі қалдықтардың немесе болжам қателерінің квадраттарының қосындысын азайту арқылы деректер жиынтығы үшін ең жақсы сәйкес келетін регрессия сызығын табуға бағытталған. Қалдық - бақыланатын мән мен болжамдалған мән арасындағы айырмашылық.
Егер бізде бақылау жұптарынан тұратын деректер жиыны болса, онда біздің мақсатымыз - квадрат қателіктерінің қосындысын sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \) минимумдайтын y = mx + b \) түзуін табу.
Бұл әдісті қарапайым сызықтық регрессияға да, көптік сызықтық регрессияға да қолдануға болады. Қарапайым сызықтық регрессияда бізде тек бір тәуелсіз айнымалы (x) болады, ал көптік сызықтық регрессия бірнеше тәуелсіз айнымалыны қамтиды.
Қарапайым сызықтық регрессия
Қарапайым сызықтық регрессиядан бастайық. Мысалы, бізде \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)) деректер жиыны бар. Біз сәйкестендіргіміз келетін қарапайым сызықтық регрессия моделі:
\[ y = mx + b + \epsilon \]
мұндағы \(m\) - көлбеу, \(b\) - қиылысу нүктесі, ал \(\epsilon\) - кездейсоқ қате.
Ең кіші квадраттар әдісін қолдана отырып, квадраттық қателік функциясын минимумдау арқылы \(m\) және \(b\) параметрлерінің бағалауларын табуға болады:
\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
\(S(m, b) \) минимумдау үшін \(S \) функциясының \(m \) және \(b \) мәндеріне қатысты дербес туындыларын табамыз, содан кейін \(m \) және \(b \) үшін осы теңдеуді шешеміз:
\[ \басталуы{тураланған}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]
Қарапайымдаудан кейін келесі екі қалыпты теңдеуді аламыз:
\[ \басталуы{тураланған}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]
Жоғарыдағы теңдеулер жүйесін шешу арқылы квадраттық қателікті азайтатын \(m\) және \(b\) мәндерін таба аламыз.
Көптік сызықтық регрессия
Көптік сызықтық регрессияда біз бірнеше тәуелсіз айнымалысы бар жағдайға тап боламыз. Мысалы, деректеріміз кортеж түрінде болсын \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). Біз қолданатын регрессия моделі:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
Бұл теңдеуді матрицалық түрде былай жазуға болады:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Қайда:
– \( \mathbf{y} \) – бақыланған y мәндерінің баған векторы.
– \( \mathbf{X} \) – бақыланған x мәндерінің матрицасы (қиылысу нүктесі үшін 1-бағанды қоса алғанда).
– \( \mathbf{b} \) – параметрлердің (\(b_0 \) қоса алғанда) баған векторы.
Ең кіші квадраттар әдісінің мақсаты келесі квадраттық қателік функциясын азайту болып табылады:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
Бұл функцияны минимумдау үшін, S-тің \( \mathbf{b} \) бойынша дербес туындысын алып, оны нөлге теңдейміз. Бұл көптік сызықтық регрессия үшін қалыпты теңдеуді береді:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
Жоғарыдағы теңдеулер жүйесін шешу арқылы \( \mathbf{b} \) параметрінің бағасын алуға болады:
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Артықшылықтары мен шектеулері
Ең кіші квадраттар әдісінің көптеген артықшылықтары бар. Бұл өте тиімді және қолдануға қарапайым әдіс. Егер \( \mathbf{X}^T \mathbf{X} \) инверсияланатын болса, ол бірегей шешім ұсынады, бұл оны көптеген практикалық қолданбалар үшін сенімді етеді.
Дегенмен, ең кіші квадраттар әдісінің де шектеулері бар. Ол ауытқуларға өте сезімтал, себебі квадрат қателігі кіші айырмашылықтарға қарағанда үлкен айырмашылықтарды көбірек көрсетеді. Сонымен қатар, жақсы нәтижелерге қол жеткізу үшін қателіктердің орташа мәні нөлге тең және тұрақты дисперсиясы бар қалыпты үлестірімге ие деген классикалық болжам орындалуы керек.
Практикалық қолданыстар
Ең кіші квадраттар әдісі деректердің трендтерін талдауда, болжауда және болжамдық модельдерді құру үшін машиналық оқытуда жиі қолданылады. Қаржы саласында ең кіші квадраттар әдісі акция бағаларын немесе нарықтық өнімділікті болжау үшін қолданылады. Медицинада ол дәрі-дәрмектің дозасы мен пациенттің реакциясы арасындағы байланысты модельдеу үшін қолданылады. Әлеуметтік ғылымдарда ол білім мен табыс сияқты айнымалылар арасындағы байланысты түсінуге көмектеседі.
Қорытынды
Ең кіші квадраттар әдісі статистика мен деректерді талдаудағы негізгі әдістердің бірі болып табылады. Тұжырымдамасы қарапайым болғанымен, бұл әдіс айнымалылар арасындағы қатынастарды модельдеуде және түсінуде айтарлықтай күш береді. Кең ауқымды салаларда кеңінен қолданылуымен, бұл әдісті терең түсіну мамандар мен зерттеушілер үшін баға жетпес. Болашақта үлкен деректер дәуірінде кездесетін деректер көлемінің артуымен ең кіші квадраттар сияқты классикалық әдістерді бейімдеу және қолдану барған сайын өзекті бола түседі.
