Усули хурдтарин мураббаъҳо: равиши математикӣ барои баҳодиҳӣ
Пендахулуан
Усули мураббаъҳои хурдтарин як усули оморӣ аст, ки барои арзёбии параметрҳо дар модели регрессия бо роҳи кам кардани ҷамъи хатогиҳои мураббаъ байни арзишҳои воқеӣ ва арзишҳои пешгӯишуда аз ҷониби модел истифода мешавад. Ин усул хеле маъмул аст ва аксар вақт дар соҳаҳои гуногун, аз қабили иқтисод, муҳандисӣ, биология ва илмҳои иҷтимоӣ истифода мешавад. Мафҳуми мураббаъҳои хурдтаринро бори аввал Адриен-Мари Лежандр дар аввали асри 19 пешниҳод карда буд ва баъдтар аз ҷониби Карл Фридрих Гаусс минбаъд таҳия карда шуд.
Фаҳмиши асосӣ
Умуман, усули хурдтарин мураббаъҳо барои ёфтани хати регрессияи мувофиқтарин барои маҷмӯи додаҳо тавассути кам кардани ҷамъи мураббаъҳои боқимондаҳо ё хатогиҳои пешгӯишаванда равона шудааст. Боқимонда фарқи байни арзиши мушоҳидашуда ва арзиши пешгӯишуда мебошад.
Агар мо маҷмӯи додаҳоеро дошта бошем, ки аз ҷуфтҳои мушоҳидаҳо иборат аст \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), пас ҳадафи мо ёфтани сатри \(y = mx + b\) аст, ки ҷамъи хатогиҳои квадратии sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \)-ро ба ҳадди ақал мерасонад.
Ин усулро ҳам барои регрессияи хаттии оддӣ ва ҳам барои регрессияи хаттии сершумор истифода бурдан мумкин аст. Дар регрессияи хаттии оддӣ, мо танҳо як тағирёбандаи мустақил (x) дорем, дар ҳоле ки регрессияи хаттии сершумор беш аз як тағирёбандаи мустақилро дар бар мегирад.
Регрессияи хаттии оддӣ
Биёед бо регрессияи оддии хаттӣ оғоз кунем. Фарз мекунем, ки мо маҷмӯи додаҳоро дорем \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). Модели оддии регрессияи хаттӣ, ки мо мехоҳем онро мувофиқ кунем, ин аст:
\[ y = mx + b + \epsilon \]
ки дар он \(m\) нишебӣ, \(b\) буриш ва \(\epsilon\) хатои тасодуфӣ аст.
Бо истифода аз усули хурдтарин квадратҳо, мо метавонем арзёбиҳои параметрҳои \(m \) ва \(b \)-ро бо роҳи кам кардани функсияи хатогии квадратӣ пайдо кунем:
\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
Барои кам кардани \(S(m, b) \), мо ҳосилаҳои қисман \(S \)-ро нисбат ба \(m \) ва \(b \) меёбем ва сипас ин муодиларо барои \(m \) ва \(b \) ҳал мекунем:
\[ \оғоз{алайншуда}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]
Пас аз содда кардан, мо ду муодилаи муқаррарии зеринро ба даст меорем:
\[ \оғоз{алайншуда}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]
Бо роҳи ҳалли системаи муодилаҳои дар боло овардашуда, мо метавонем арзишҳои \(m\) ва \(b\)-ро пайдо кунем, ки хатои квадратиро ба ҳадди ақал мерасонанд.
Регрессияи хаттии бисёрҷониба
Дар регрессияи хаттии сершумор, мо бо вазъияте рӯ ба рӯ мешавем, ки дар он мо зиёда аз як тағйирёбандаи мустақил дорем. Фарз мекунем, ки мо маълумотро дар шакли кортҳои \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\) дорем. Модели регрессияи истифодашуда чунин аст:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
Ин муодиларо дар шакли матритса чунин навиштан мумкин аст:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
ди мана:
– \( \mathbf{y} \) вектори сутунии арзишҳои y-и мушоҳидашуда мебошад.
– \( \mathbf{X} \) матритсаи арзишҳои x-и мушоҳидашуда мебошад (аз ҷумла сутуни 1 барои буриш).
– \( \mathbf{b} \) вектори сутунии параметрҳо мебошад (аз ҷумла \( b_0 \)).
Ҳадафи усули хурдтарин квадратҳо кам кардани функсияи хатои квадратии зерин мебошад:
\[ S(\mathbf{b}) = (\mathbf{y} - \mathbf{Xb})^T (\mathbf{y} - \mathbf{Xb}) \]
Барои кам кардани ин функсия, мо ҳосилаи қисман S-ро нисбат ба \( \mathbf{b} \) гирифта, онро ба сифр муқаррар мекунем. Ин муодилаи муқаррариро барои регрессияи хаттии сершумор ба даст меорад:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
Бо роҳи ҳалли системаи муодилаҳои дар боло овардашуда, мо метавонем арзёбии параметри \( \mathbf{b} \)-ро ба даст орем:
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Афзалиятҳо ва маҳдудиятҳо
Усули хурдтарин квадратҳо бартариҳои зиёд дорад. Ин усули хеле самаранок ва содда барои истифода аст. Он ҳалли беназиреро пешниҳод мекунад, агар \( \mathbf{X}^T \mathbf{X} \) баръаксшаванда бошад, ки онро барои бисёр барномаҳои амалӣ боэътимод мегардонад.
Аммо, усули хурдтарин квадратҳо низ маҳдудиятҳо дорад. Он ба хориҷиҳо хеле ҳассос аст, зеро хатои квадратӣ фарқиятҳои калонро нисбат ба фарқиятҳои хурд бештар таъкид мекунад. Ғайр аз ин, барои натиҷаҳои хуб бояд фарзияи классикӣ риоя карда шавад, ки хатогиҳо тақсимоти муқаррарӣ бо миёнаи сифр ва дисперсияи доимӣ доранд.
Барномаҳои амалӣ
Усули мураббаъҳои хурдтарин аксар вақт дар таҳлили тамоюлҳои додаҳо, пешгӯӣ ва омӯзиши мошинӣ барои сохтани моделҳои пешгӯикунанда истифода мешавад. Дар соҳаи молиявӣ, усули мураббаъҳои хурдтарин барои пешгӯии нархи саҳмияҳо ё фаъолияти бозор истифода мешавад. Дар тиб, он барои моделсозии робитаи байни миқдори дору ва вокуниши беморон истифода мешавад. Дар илмҳои иҷтимоӣ, он барои фаҳмидани робитаи байни тағирёбандаҳо ба монанди маориф ва даромад кӯмак мекунад.
Хулоса
Усули мураббаъҳои хурдтарин яке аз усулҳои асосии омор ва таҳлили маълумот мебошад. Гарчанде ки ин усул аз ҷиҳати консепсия содда аст, он дар моделсозӣ ва дарки робитаҳои байни тағирёбандаҳо қудрати назаррас дорад. Бо истифода аз васеъ дар соҳаҳои гуногун, фаҳмиши амиқи ин усул барои мутахассисон ва муҳаққиқон яксон бебаҳо аст. Дар оянда, бо афзоиши ҳаҷми додаҳо, ки дар давраи маълумоти калон дучор мешаванд, мутобиқсозӣ ва татбиқи усулҳои классикӣ, ба монанди мураббаъҳои хурдтарин, танҳо аҳамияти бештар пайдо мекунад.
