Eng kichik kvadratlar usuli: keng qamrovli tahlil
Eng kichik kvadratlar usuli statistik regressiya tahlilidagi eng asosiy usullardan biri bo'lib, ma'lumotlarni moslashtirish, modellashtirish va bashoratli tahlilda muhim rol o'ynaydi. Bu kuzatilgan va bashorat qilingan qiymatlar orasidagi farqlarning kvadratlari yig'indisini minimallashtiradigan matematik yondashuvdir. Shu bilan birga, u berilgan ma'lumotlar nuqtalari to'plamiga eng mos keladigan chiziq yoki egri chiziqni taqdim etadi. Ushbu maqolada biz Eng kichik kvadratlar usulining asoslari, qo'llanilishi, hosilalari va cheklovlarini ko'rib chiqamiz.
Tarixiy tarix
Eng kichik kvadratlar usuli birinchi marta 1795-yilda 18 yoshida Karl Fridrix Gauss tomonidan joriy etilgan, garchi u 1809-yilgacha nashr etilmagan bo'lsa ham. Yana bir taniqli matematik Adrien-Mari Lejendre shunga o'xshash usulni mustaqil ravishda ishlab chiqdi va 1805-yilda nashr etdi. Shunga qaramay, Gaussning yozuvi va usulning kengaytirilishi zamonaviy foydalanish uchun asos yaratdi.
Matematik asos
Eng sodda shaklda, Eng Kichik Kvadratlar Usuli chiziqli modelni ma'lumotlar nuqtalari to'plamiga moslashtirish uchun ishlatiladi. `n` ma'lumotlar nuqtalari to'plami \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\) berilgan holda, maqsad kuzatilgan qiymatlar \(y_i\) va \(\hat{y}_i\) chizig'i bilan bashorat qilingan qiymatlar orasidagi vertikal masofalar (qoldiqlar) kvadratlarining yig'indisini minimallashtiradigan \(y = mx + c\) chiziqni topishdir.
Matematik jihatdan, bu maqsad quyidagicha ifodalanishi mumkin:
\[ S = \sum_{i=1}^{n} (y_i – \hat{y}_i)^2 = \sum_{i=1}^{n} (y_i – (mx_i + c))^2 \]
Bu tenglama qoldiqlarning kvadratlari yig'indisini, \(S\) ifodalaydi va bizning maqsadimiz \(S\) ni minimallashtiradigan \(m\) (qiyalik) va \(c\) (kesishish nuqtasi) qiymatlarini topishdir.
Derivatsiya
\(m\) va \(c\) ning \(S\) kvadratlari yig'indisini minimallashtiradigan qiymatlarini topish uchun \(S\) ning \(m\) va \(c\) ga nisbatan qisman hosilalarini olamiz va ularni nolga o'rnatamiz.
1. \(m\) ga nisbatan qisman hosila:
\[ \frac{\partial S}{\partial m} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-x_i) = 0 \]
2. \(c\) ga nisbatan qisman hosila:
\[ \frac{\partial S}{\partial c} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-1) = 0 \]
Ushbu bir vaqtning o'zida bajariladigan tenglamalarni yechish natijasida normal tenglamalar hosil bo'ladi:
\[ m = \frac{n(\sum x_i y_i) – (\sum x_i)(\sum y_i)}{n (\sum x_i^2) – (\sum x_i)^2} \]
\[ c = \frac{(\sum y_i)(\sum x_i^2) – (\sum x_i)(\sum x_i y_i)}{n(\sum x_i^2) – (\sum x_i)^2} \]
Bu tenglamalar bizga kvadrat qoldiqlar yig'indisini minimallashtiradigan \(m\) va \(c\) qiymatlarini beradi.
ilovalar
Eng kichik kvadratlar usuli turli sohalarda keng qo'llaniladi:
1. Iqtisodiyot va moliya: YaIM, inflyatsiya darajasi va aksiya narxlari kabi iqtisodiy ko'rsatkichlarni modellashtirish va prognoz qilish uchun ishlatiladi.
2. Muhandislik: Modellarni empirik ma'lumotlarga moslashtirish uchun signallarni qayta ishlash, boshqaruv tizimlari va ishonchlilikni sinashda qo'llaniladi.
3. Tibbiyot: O'sish egri chiziqlari, dozaga javob egri chiziqlari va boshqa biologik jarayonlarni eksperimental ma'lumotlarga moslashtirishga yordam beradi.
4. Mashinada o'qitish: Parametrlarni baholash uchun ko'pincha eng kichik kvadratlar usulidan foydalanadigan chiziqli regressiya modellari nazorat ostida o'qitish texnikasining asosidir.
5. Astronomiya: Tarixan Gauss tomonidan samoviy jismlarning orbitalarini hisoblash uchun ishlatilgan.
Variatsiyalar va kengaytmalar
1. Eng kichik vaznli kvadratlar: Kuzatishlar turli xil dispersiyalarga ega bo'lgan hollarda, Eng kichik vaznli kvadratlar har bir ma'lumot nuqtasiga og'irliklarni belgilaydi va kvadratlarning og'irlikli yig'indisini minimallashtiradi.
2. Chiziqli bo'lmagan eng kichik kvadratlar: Usulni chiziqli bo'lmagan modellarga moslashtirish uchun kengaytiradi, ko'pincha Gauss-Nyuton yoki Levenberg-Marquardt algoritmlari kabi iterativ texnikalar orqali.
3. Muntazamlashtirilgan Eng Kichik Kvadratlar (Tirsak Regressiyasi): Haddan tashqari moslashishning oldini olish uchun kvadratlar yig'indisiga jarima miqdorini qo'shadi, bu ayniqsa multikollinearlik bilan ishlashda foydalidir.
4. Umumlashtirilgan eng kichik kvadratlar: Korrelyatsiyalangan kuzatuvlarni hisobga oladi, eng kichik kvadratlar usulini avtokorrelyatsiyalangan va heteroskedastik xatolarni boshqarish uchun kengaytiradi.
Hisoblash vositalari
Turli xil dasturiy vositalar va dasturlash muhitlari eng kichik kvadratlar regressiyasini bajarish uchun o'rnatilgan funktsiyalarni taklif qiladi:
1. Python: NumPy va SciPy kabi kutubxonalar mos ravishda chiziqli va chiziqli bo'lmagan eng kichik kvadratlarni moslashtirish uchun `numpy.linalg.lstsq` va `scipy.optimize.curve_fit` funksiyalarini taqdim etadi.
2. R: R ning keng qamrovli statistik muhitida chiziqli modellar uchun `lm()` va chiziqli bo'lmagan modellar uchun `nls()` kabi funksiyalar.
3. MATLAB: MATLABdagi `lsqcurvefit` funksiyasi chiziqli algebra amallarini o'rnatilgan qo'llab-quvvatlash bilan chiziqli bo'lmagan moslashtirish uchun ishlatiladi.
cheklashlar
Eng kichik kvadratlar usuli keng qo'llanilishiga qaramay, quyidagi cheklovlarga ega:
1. Chetga chiqishlarga sezgirlik: Eng kichik kvadratlar chetga chiqishlarga juda sezgir, chunki kvadratik atama katta qoldiqlarning ta'sirini kuchaytiradi.
2. Chiziqlilikni taxmin qilish: O'zgaruvchilar orasidagi chiziqli bog'liqlikni taxmin qiladi, bu murakkab ma'lumotlar to'plamlari uchun to'g'ri kelmasligi mumkin.
3. Multikollinearlik muammolari: Ko'p chiziqli regressiyada bashorat qiluvchi o'zgaruvchilar orasidagi multikollinearlik koeffitsientlarni baholashni buzishi mumkin.
4. Variantlikning bir xilligi (Gomoskedastiklik): Xatolik shartlarining variatsiyasi kuzatuvlar bo'yicha doimiy deb taxmin qilinadi, bu har doim ham shunday bo'lmasligi mumkin.
Xulosa
Eng kichik kvadratlar usuli, o'zining yoshiga qaramay, statistik ma'lumotlarni tahlil qilish va modellashtirishda asosiy tosh bo'lib qolmoqda. Uning soddaligi, samaradorligi va turli shakllarga, asosiy chiziqli regressiyadan tortib murakkab chiziqli bo'lmagan va umumlashtirilgan modellargacha moslashuvchanligi uni bebaho qiladi. Uning matematik asoslarini, qo'llanilishini va cheklovlarini tushunish ma'lumotlarni tahlil qilish bilan shug'ullanadigan har bir kishi uchun juda muhimdir, bu usul mazmunli tushunchalarni olish uchun tegishli ravishda qo'llanilishini ta'minlaydi. Akademik sohada yoki sanoatda bo'lishidan qat'i nazar, Eng kichik kvadratlar usuli ma'lumotlar ichidagi munosabatlarni tushunish va asosli bashoratlar qilish uchun ishonchli vosita bo'lib qolmoqda.
