Eng kichik kvadratlar usuli: Baholashga matematik yondashuv
Pendahuluan
Eng kichik kvadratlar usuli - bu regressiya modelidagi parametrlarni haqiqiy qiymatlar va model tomonidan bashorat qilingan qiymatlar orasidagi kvadratik xatolar yig'indisini minimallashtirish orqali baholash uchun ishlatiladigan statistik usul. Bu usul juda mashhur va iqtisodiyot, muhandislik, biologiya va ijtimoiy fanlar kabi turli sohalarda tez-tez qo'llaniladi. Eng kichik kvadratlar tushunchasi birinchi marta 19-asr boshlarida Adrien-Mari Lejendr tomonidan taklif qilingan va keyinchalik Karl Fridrix Gauss tomonidan yanada rivojlantirilgan.
Asosiy tushuncha
Umuman olganda, eng kichik kvadratlar usuli qoldiqlarning kvadratlari yig'indisini yoki bashorat qilish xatolarini minimallashtirish orqali ma'lumotlar to'plami uchun eng mos keladigan regressiya chizig'ini topishga qaratilgan. Qoldiq kuzatilgan qiymat va bashorat qilingan qiymat o'rtasidagi farqdir.
Agar bizda kuzatish juftliklaridan iborat ma'lumotlar to'plami bo'lsa \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), unda bizning maqsadimiz kvadrat xatolar yig'indisini minimallashtiradigan \(y = mx + b\) chiziqni topishdir sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
Bu usul oddiy chiziqli regressiyaga ham, ko'p chiziqli regressiyaga ham qo'llanilishi mumkin. Oddiy chiziqli regressiyada bizda faqat bitta mustaqil o'zgaruvchi (x) mavjud, ko'p chiziqli regressiya esa bir nechta mustaqil o'zgaruvchini o'z ichiga oladi.
Oddiy chiziqli regressiya
Keling, oddiy chiziqli regressiyadan boshlaylik. Aytaylik, bizda \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)) ma'lumotlar to'plami mavjud. Biz moslashtirmoqchi bo'lgan oddiy chiziqli regressiya modeli quyidagicha:
y = mx + b + epsilon
bu yerda \(m \) qiyalik, \(b \) kesishish nuqtasi va \(\epsilon \) tasodifiy xato.
Eng kichik kvadratlar usulidan foydalanib, kvadratik xato funksiyasini minimallashtirish orqali \(m \) va \(b \) parametrlarining taxminlarini topishimiz mumkin:
\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
\(S(m, b) \) ni minimallashtirish uchun \(S \) ning \(m \) va \(b \) ga nisbatan qisman hosilalarini topamiz va keyin \(m \) va \(b \) uchun bu tenglamani yechamiz:
\[ \boshlangʻich{tekislangan}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]
Soddalashtirishdan so'ng, biz quyidagi ikkita normal tenglamani olamiz:
\[ \boshlangʻich{tekislangan}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]
Yuqoridagi tenglamalar tizimini yechish orqali kvadratik xatoni minimallashtiradigan \(m \) va \(b \) qiymatlarini topishimiz mumkin.
Ko'p chiziqli regressiya
Ko'p chiziqli regressiyada biz bir nechta mustaqil o'zgaruvchiga ega bo'lgan vaziyatga duch kelamiz. Aytaylik, bizda ma'lumotlar \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\) koeffitsienti shaklida mavjud. Biz foydalanadigan regressiya modeli quyidagicha:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
Bu tenglama matritsa shaklida quyidagicha yozilishi mumkin:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Qayerda:
– \( \mathbf{y} \) kuzatilgan y qiymatlarining ustun vektoridir.
– \( \mathbf{X} \) kuzatilgan x qiymatlarining matritsasi (kesish nuqtasi uchun 1-ustunni o'z ichiga olgan holda).
– \( \mathbf{b} \) parametrlarning ustun vektoridir (\(b_0 \) ni o'z ichiga olgan holda).
Eng kichik kvadratlar usulining maqsadi quyidagi kvadratik xato funksiyasini minimallashtirishdir:
\[ S(\mathbf{b}) = (\mathbf{y} - \mathbf{Xb})^T (\mathbf{y} - \mathbf{Xb}) \]
Bu funksiyani minimallashtirish uchun S ning \( \mathbf{b} \) ga nisbatan qisman hosilasini olamiz va uni nolga o'rnatamiz. Bu ko'p chiziqli regressiya uchun normal tenglamani hosil qiladi:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
Yuqoridagi tenglamalar tizimini yechish orqali biz \( \mathbf{b} \) parametrining taxminini olishimiz mumkin:
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Afzalliklari va cheklovlari
Eng kichik kvadratlar usuli ko'plab afzalliklarga ega. Bu juda samarali va ishlatish uchun oddiy usul. Agar \( \mathbf{X}^T \mathbf{X} \) inversiyalanadigan bo'lsa, u noyob yechimni taklif qiladi, bu esa uni ko'plab amaliy qo'llanmalar uchun ishonchli qiladi.
Biroq, eng kichik kvadratlar usulining ham cheklovlari bor. U chetga chiqishlarga juda sezgir, chunki kvadratik xato kichik farqlarga qaraganda katta farqlarni ko'proq ta'kidlaydi. Bundan tashqari, yaxshi natijalarga erishish uchun xatolar nol o'rtacha va doimiy dispersiyaga ega normal taqsimotga ega degan klassik taxminga rioya qilish kerak.
Amaliy qo'llanmalar
Eng kichik kvadratlar usuli ma'lumotlar trendini tahlil qilish, prognozlash va bashoratli modellarni yaratish uchun mashinani o'rganishda tez-tez qo'llaniladi. Moliya sanoatida eng kichik kvadratlar usuli aksiya narxlari yoki bozor ko'rsatkichlarini bashorat qilish uchun ishlatiladi. Tibbiyotda u dori dozasi va bemorlarning javobi o'rtasidagi bog'liqlikni modellashtirish uchun ishlatiladi. Ijtimoiy fanlarda u ta'lim va daromad kabi o'zgaruvchilar o'rtasidagi bog'liqlikni tushunishga yordam beradi.
Xulosa
Eng kichik kvadratlar usuli statistika va ma'lumotlarni tahlil qilishdagi asosiy usullardan biridir. Kontseptsiyasi sodda bo'lsa-da, bu usul o'zgaruvchilar o'rtasidagi munosabatlarni modellashtirish va tushunishda sezilarli kuchga ega. Keng ko'lamli sohalarda keng qo'llanilishi bilan ushbu usulni chuqur tushunish mutaxassislar va tadqiqotchilar uchun bebahodir. Kelajakda, katta ma'lumotlar davrida duch keladigan ma'lumotlar hajmining ortishi bilan, eng kichik kvadratlar kabi klassik usullarni moslashtirish va qo'llash tobora dolzarb bo'lib boradi.
