Эң кичине квадраттар ыкмасы: комплекстүү талдоо
Эң кичине квадраттар ыкмасы статистикалык регрессиялык анализдеги эң негизги ыкмалардын бири болуп саналат жана маалыматтарды тууралоодо, моделдөөдө жана болжолдуу анализде чечүүчү ролду ойнойт. Бул байкалган жана болжолдонгон маанилердин ортосундагы айырмачылыктардын квадраттарынын суммасын минималдаштыруучу математикалык ыкма. Ошентип, ал берилген маалымат чекиттери топтомуна эң жакшы туура келген сызыкты же ийри сызыкты берет. Бул макалада биз Эң кичине квадраттар ыкмасынын негиздерин, колдонулушун, туундуларын жана чектөөлөрүн карап чыгабыз.
Тарыхый маалымат
Эң кичине квадраттар ыкмасын биринчи жолу 1795-жылы 18 жашында Карл Фридрих Гаусс киргизген, бирок ал 1809-жылга чейин жарыяланган эмес. Дагы бир белгилүү математик Адриан-Мари Лежандр ушул сыяктуу ыкманы өз алдынча иштеп чыгып, 1805-жылы жарыялаган. Ошого карабастан, Гаусстун белгилөөсү жана ыкманын кеңейиши заманбап колдонуунун негизин түзгөн.
Математикалык фонд
Эң жөнөкөй формасында, Эң кичине квадраттар ыкмасы сызыктуу моделди маалымат чекиттери топтомуна тууралоо үчүн колдонулат. `n` маалымат чекиттери \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\) берилгенде, максат - байкалган маанилер \(y_i\) менен сызык \(hat{y}_i\) менен алдын ала айтылган маанилердин ортосундагы вертикалдык аралыктардын (калдыктардын) квадраттарынын суммасын минималдаштырган сызык \(y = mx + c\) табуу.
Математикалык жактан алганда, бул максатты төмөнкүдөй түрдө көрсөтүүгө болот:
\[ S = \sum_{i=1}^{n} (y_i – \hat{y}_i)^2 = \sum_{i=1}^{n} (y_i – (mx_i + c))^2 \]
Бул теңдеме калдыктардын квадраттарынын суммасын, \(S\) билдирет жана биздин максатыбыз - \(S\) минимумга келтирүүчү \(m\) (жантайыңкы чекит) жана \(c\) (кесилиш чекит) маанилерин табуу.
Туунду
\(m\) жана \(c\) маанилеринин \(S\) квадраттарынын суммасын минималдаштырган маанилерин табуу үчүн, \(S\) тин \(m\) жана \(c\) га карата жарым-жартылай туундуларын алып, аларды нөлгө коёбуз.
1. \(m\) боюнча жарым-жартылай туунду:
\[ \frac{\partial S}{\partial m} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-x_i) = 0 \]
2. \(c\) боюнча жарым-жартылай туунду:
\[ \frac{\partial S}{\partial c} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-1) = 0 \]
Бул теңдемелерди бир убакта чыгаруу төмөнкү нормалдуу теңдемелерди берет:
\[ m = \frac{n(\sum x_i y_i) – (\sum x_i)(\sum y_i)}{n (\sum x_i^2) – (\sum x_i)^2} \]
\[ c = \frac{(\sum y_i)(\sum x_i^2) – (\sum x_i)(\sum x_i y_i)}{n(\sum x_i^2) – (\sum x_i)^2} \]
Бул теңдемелер бизге калдыктардын квадраттык суммасын минималдаштыруучу \(m\) жана \(c\) маанилерин берет.
Тиркемелер
Эң кичине квадраттар ыкмасы ар кандай тармактарда кеңири колдонулат:
1. Экономика жана каржы: ИДП, инфляциянын деңгээли жана акциялардын баалары сыяктуу экономикалык көрсөткүчтөрдү моделдөө жана божомолдоо үчүн колдонулат.
2. Инженерия: Моделдерди эмпирикалык маалыматтарга ылайыкташтыруу үчүн сигналдарды иштетүүдө, башкаруу системаларында жана ишенимдүүлүктү текшерүүдө колдонулат.
3. Медицина: өсүү ийри сызыктарын, дозага жооп ийри сызыктарын жана башка биологиялык процесстерди эксперименталдык маалыматтарга ылайыкташтырууга жардам берет.
4. Машиналык окутуу: Параметрлерди баалоо үчүн көбүнчө эң кичине квадраттар ыкмасын колдонгон сызыктуу регрессиялык моделдер көзөмөлдөнгөн окутуу ыкмаларынын фундаменталдык бөлүгү болуп саналат.
5. Астрономия: Гаусс тарабынан асман телолорунун орбиталарын эсептөө үчүн тарыхый жактан колдонулган.
Вариациялар жана кеңейтүүлөр
1. Салмакталган эң кичине квадраттар: Байкоолордун дисперсиялары ар кандай болгон учурларда, Салмакталган эң кичине квадраттар ар бир маалымат чекитине салмактарды дайындайт, квадраттардын салмакталган суммасын минималдаштырат.
2. Сызыктуу эмес эң кичине квадраттар: көбүнчө Гаусс-Ньютон же Левенберг-Маркварт алгоритмдери сыяктуу итеративдик ыкмалар аркылуу сызыктуу эмес моделдерге туура келүү үчүн методду кеңейтет.
3. Регулярдаштырылган эң кичине квадраттар (Тоо регрессиясы): Ашыкча туура келүүнүн алдын алуу үчүн квадраттардын суммасына айып мүчөсүн кошот, бул өзгөчө мультиколлинеардуулук менен иштөөдө пайдалуу.
4. Жалпыланган эң кичине квадраттар: Корреляцияланган байкоолорду эске алат, эң кичине квадраттар ыкмасын автокорреляцияланган жана гетероскедастикалык каталарды иштетүү үчүн кеңейтет.
Эсептөө куралдары
Ар кандай программалык куралдар жана программалоо чөйрөлөрү эң кичине квадраттар регрессиясын аткаруу үчүн орнотулган функцияларды сунуштайт:
1. Python: NumPy жана SciPy сыяктуу китепканалар сызыктуу жана сызыктуу эмес эң кичине квадраттарды тууралоо үчүн тиешелүүлүгүнө жараша `numpy.linalg.lstsq` жана `scipy.optimize.curve_fit` функцияларын камсыз кылат.
2. R: Rдин комплекстүү статистикалык чөйрөсүндө сызыктуу моделдер үчүн `lm()` жана сызыктуу эмес моделдер үчүн `nls()` сыяктуу функциялар.
3. MATLAB: MATLABдагы `lsqcurvefit` функциясы сызыктуу эмес дал келтирүү үчүн колдонулат, ал эми сызыктуу алгебра операциялары үчүн орнотулган колдоо бар.
чектөөлөр
Кеңири колдонулушуна карабастан, Эң кичине квадраттар ыкмасынын чектөөлөрү бар:
1. Четтөөлөргө сезгичтик: Эң кичине квадраттар четтөөлөргө өтө сезгич, анткени квадраттык мүчө чоң калдыктардын таасирин күчөтөт.
2. Сызыктуулукту кабыл алуу: өзгөрмөлөрдүн ортосундагы сызыктуу байланышты кабыл алат, бул татаал маалымат топтомдору үчүн туура болбошу мүмкүн.
3. Мультиколлинеардуулук маселелери: Көптүк сызыктуу регрессияда, божомолдоочу өзгөрмөлөрдүн ортосундагы мультиколлинеардуулук коэффициенттерди баалоону бурмалашы мүмкүн.
4. Дисперсиянын бир тектүүлүгү (Гомоскедастикалык): Ката мүчөлөрдүн дисперсиясы байкоолордо туруктуу деп болжолдойт, бирок бул дайыма эле боло бербейт.
жыйынтыктоо
Эң кичине квадраттар ыкмасы, өзүнүн эскилигине карабастан, статистикалык маалыматтарды талдоодо жана моделдөөдө негизги таш бойдон калууда. Анын жөнөкөйлүгү, натыйжалуулугу жана ар кандай формаларга, негизги сызыктуу регрессиядан баштап татаал сызыктуу эмес жана жалпыланган моделдерге чейин ыңгайлашуусу аны баа жеткис кылат. Анын математикалык негиздерин, колдонулушун жана чектөөлөрүн түшүнүү маалыматтарды талдоо менен алектенген ар бир адам үчүн абдан маанилүү, бул ыкманын маңыздуу түшүнүктөрдү алуу үчүн тийиштүү түрдө колдонулушун камсыз кылат. Академиялык чөйрөдө же тармакта болсун, Эң кичине квадраттар ыкмасы маалыматтардын ичиндеги байланыштарды түшүнүү жана маалыматтуу божомолдорду жасоо үчүн ишенимдүү курал бойдон калууда.
