Эң кичине квадраттар ыкмасы: Баалоого математикалык мамиле
Pendahuluan
Эң кичине квадраттар ыкмасы - бул регрессиялык моделдеги параметрлерди баалоо үчүн колдонулган статистикалык ыкма, ал чыныгы маанилер менен модель тарабынан алдын ала айтылган маанилердин ортосундагы квадраттык каталардын суммасын минималдаштыруу жолу менен жүргүзүлөт. Бул ыкма абдан популярдуу жана экономика, инженерия, биология жана коомдук илимдер сыяктуу ар кандай тармактарда көп колдонулат. Эң кичине квадраттар түшүнүгүн алгач 19-кылымдын башында Адриан-Мари Лежандр сунуштаган жана кийинчерээк Карл Фридрих Гаусс тарабынан андан ары өнүктүрүлгөн.
Негизги түшүнүк
Жалпысынан алганда, эң кичине квадраттар ыкмасы калдыктардын же божомолдоо каталарынын квадраттарынын суммасын минималдаштыруу аркылуу маалыматтар топтому үчүн эң жакшы туура келген регрессия сызыгын табууга багытталган. Калдык - бул байкалган маани менен болжолдонгон маанинин ортосундагы айырма.
Эгерде бизде жуп байкоолордон турган маалыматтар топтому болсо, анда биздин максатыбыз - квадраттык каталардын суммасын минималдаштырган сызыкты табуу, ал сызык sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
Бул ыкманы жөнөкөй сызыктуу регрессияга да, көп сызыктуу регрессияга да колдонсо болот. Жөнөкөй сызыктуу регрессияда бир гана көз карандысыз өзгөрмө (x) болот, ал эми көп сызыктуу регрессия бирден ашык көз карандысыз өзгөрмөнү камтыйт.
Жөнөкөй сызыктуу регрессия
Келгиле, жөнөкөй сызыктуу регрессиядан баштайлы. Мисалы, бизде \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)) маалыматтар топтому бар дейли. Биз тууралагыбыз келген жөнөкөй сызыктуу регрессия модели:
\[ y = mx + b + \epsilon \]
мында \(m\) - эңкейиш, \(b\) - кесилиш чекит, ал эми \(\epsilon\) - кокустук ката.
Эң кичине квадраттар ыкмасын колдонуп, квадраттык ката функциясын минималдаштыруу аркылуу \(m\) жана \(b\) параметрлеринин бааларын таба алабыз:
\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
\(S(m, b) \) минималдаштыруу үчүн, \(S \) нын \(m \) жана \(b \) га карата жарым-жартылай туундуларын табабыз, андан кийин \(m \) жана \(b \) үчүн бул теңдемени чыгарабыз:
\[ \баштоо{тигизделген}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]
Жөнөкөйлөткөндөн кийин, биз төмөнкү эки нормалдуу теңдемени алабыз:
\[ \баштоо{тигизделген}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]
Жогорудагы теңдемелер системасын чечүү менен, квадраттык катаны минималдаштырган √(m√) жана √(b√) маанилерин таба алабыз.
Көп сызыктуу регрессия
Көп сызыктуу регрессияда биз бирден ашык көз карандысыз өзгөрмөгө ээ болгон кырдаалга туш болобуз. Мисалы, бизде маалыматтар кортеж түрүндө бар дейли \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). Биз колдонгон регрессия модели:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
Бул теңдемени матрица түрүндө төмөнкүдөй жазууга болот:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
ди мана:
– \( \mathbf{y} \) – байкалган y маанилеринин тилке вектору.
– \( \mathbf{X} \) – байкалган x маанилеринин матрицасы (кесимдик үчүн 1-тилкени кошо алганда).
– \( \mathbf{b} \) – бул параметрлердин (\(b_0 \) кошо алганда) тилке вектору.
Эң кичине квадраттар методунун максаты төмөнкү квадраттык ката функциясын минималдаштыруу болуп саналат:
\[ S(\mathbf{b}) = (\mathbf{y} - \mathbf{Xb})^T (\mathbf{y} - \mathbf{Xb}) \]
Бул функцияны минималдаштыруу үчүн, биз Sтин \( \mathbf{b} \) боюнча жарым-жартылай туундусун алып, аны нөлгө коёбуз. Бул көп сызыктуу регрессиянын нормалдуу теңдемесин берет:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
Жогорудагы теңдемелер системасын чечүү менен, биз \( \mathbf{b} \) параметринин баасын ала алабыз:
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Артыкчылыктары жана чектөөлөрү
Эң кичине квадраттар ыкмасынын көптөгөн артыкчылыктары бар. Бул колдонууга абдан натыйжалуу жана жөнөкөй ыкма. Эгерде \( \mathbf{X}^T \mathbf{X} \) инверсиялануучу болсо, ал уникалдуу чечимди сунуштайт, бул аны көптөгөн практикалык колдонмолор үчүн ишенимдүү кылат.
Бирок, эң кичине квадраттар ыкмасынын да чектөөлөрү бар. Ал четтөөлөргө абдан сезгич, анткени квадраттык ката кичинекей айырмачылыктарга караганда чоң айырмачылыктарды көбүрөөк баса белгилейт. Андан тышкары, жакшы натыйжалар үчүн каталар нөлдүк орточо жана туруктуу дисперсиясы бар нормалдуу бөлүштүрүүгө ээ деген классикалык божомол аткарылышы керек.
Практикалык колдонмолор
Эң кичине квадраттар ыкмасы маалыматтардын тенденцияларын талдоодо, божомолдоодо жана машиналык окутууда алдын ала айтуу моделдерин түзүү үчүн көп колдонулат. Финансы тармагында эң кичине квадраттар ыкмасы акциялардын бааларын же рыноктун көрсөткүчтөрүн алдын ала айтуу үчүн колдонулат. Медицинада ал дары-дармектердин дозасы менен бейтаптардын реакциясынын ортосундагы байланышты моделдөө үчүн колдонулат. Коомдук илимдерде ал билим берүү жана киреше сыяктуу өзгөрмөлөрдүн ортосундагы байланышты түшүнүүгө жардам берет.
Корутунду
Эң кичине квадраттар ыкмасы статистика жана маалыматтарды талдоодогу негизги ыкмалардын бири болуп саналат. Концепциясы жөнөкөй болгону менен, бул ыкма өзгөрмөлөрдүн ортосундагы байланыштарды моделдөөдө жана түшүнүүдө олуттуу күч берет. Ар кандай тармактарда кеңири колдонулушу менен, бул ыкманы терең түшүнүү адистер жана изилдөөчүлөр үчүн баа жеткис. Келечекте, чоң маалыматтар доорунда кездешкен маалыматтардын көлөмүнүн өсүшү менен, эң кичине квадраттар сыяктуу классикалык ыкмаларды ыңгайлаштыруу жана колдонуу барган сайын актуалдуу болуп калат.
