Ən Kiçik Kvadratlar Metodu: Qiymətləndirməyə Riyazi Yanaşma
Pendahuluan
Ən kiçik kvadratlar metodu, faktiki dəyərlər və model tərəfindən proqnozlaşdırılan dəyərlər arasındakı kvadrat xətalarının cəmini minimuma endirməklə reqressiya modelində parametrləri qiymətləndirmək üçün istifadə olunan statistik bir texnikadır. Bu metod çox populyardır və iqtisadiyyat, mühəndislik, biologiya və sosial elmlər kimi müxtəlif sahələrdə tez-tez istifadə olunur. Ən kiçik kvadratlar anlayışı ilk dəfə 19-cu əsrin əvvəllərində Adrien-Marie Lejandr tərəfindən təklif edilmiş və daha sonra Karl Fridrix Qauss tərəfindən daha da inkişaf etdirilmişdir.
Əsas Anlama
Ümumiyyətlə, ən kiçik kvadratlar metodu qalıqların və ya proqnozlaşdırma səhvlərinin kvadratlarının cəmini minimuma endirməklə məlumat dəsti üçün ən uyğun reqressiya xəttini tapmağı hədəfləyir. Qalıq müşahidə olunan dəyərlə proqnozlaşdırılan dəyər arasındakı fərqdir.
Əgər müşahidə cütlərindən ibarət məlumat dəstimiz varsa, \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), onda məqsədimiz kvadrat xətaların cəmini minimuma endirən \(y = mx + b\) sətrini tapmaqdır.
Bu metod həm sadə xətti reqressiyaya, həm də çoxlu xətti reqressiyaya tətbiq oluna bilər. Sadə xətti reqressiyada yalnız bir müstəqil dəyişən (x) olur, çoxlu xətti reqressiya isə birdən çox müstəqil dəyişəni əhatə edir.
Sadə Xətti Reqressiya
Sadə xətti reqressiya ilə başlayaq. Tutaq ki, \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)) verilənlər dəsti var. Uyğunlaşdırmaq istədiyimiz sadə xətti reqressiya modeli belədir:
\[ y = mx + b + \epsilon \]
burada \(m\) yamac, \(b\) kəsişmə nöqtəsi və \(\epsilon\) təsadüfi xətadır.
Ən kiçik kvadratlar metodundan istifadə edərək, kvadrat xəta funksiyasını minimuma endirməklə \(m \) və \(b \) parametrlərinin qiymətləndirmələrini tapa bilərik:
\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
\(S(m, b) \) minimuma endirmək üçün \(S \)-nin \(m \) və \(b \)-yə görə qismən törəmələrini tapırıq və sonra \(m \) və \(b \) üçün bu tənliyi həll edirik:
\[ \başlanğıc{hizalanmış}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]
Sadələşdirildikdən sonra aşağıdakı iki normal tənliyi əldə edirik:
\[ \başlanğıc{hizalanmış}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]
Yuxarıdakı tənliklər sistemini həll etməklə, kvadrat xətanı minimuma endirən m (m) və b (b) qiymətlərini tapa bilərik.
Çoxlu Xətti Reqressiya
Çoxlu xətti reqressiyada birdən çox müstəqil dəyişənə sahib olduğumuz bir vəziyyətlə qarşılaşırıq. Tutaq ki, məlumatlar \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\) şəklindədir. İstifadə etdiyimiz reqressiya modeli belədir:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
Bu tənlik matris şəklində aşağıdakı kimi yazıla bilər:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Harada:
– \( \mathbf{y} \) müşahidə olunan y qiymətlərinin sütun vektorudur.
– \( \mathbf{X} \) müşahidə olunan x qiymətlərinin matrisidir (kəsişmə nöqtəsi üçün 1-ci sütun daxil olmaqla).
– \( \mathbf{b} \) parametrlərin (\(b_0 \) daxil olmaqla) sütun vektorudur.
Ən kiçik kvadratlar metodunun məqsədi aşağıdakı kvadratik xəta funksiyasını minimuma endirməkdir:
\[ S(\mathbf{b}) = (\mathbf{y} - \mathbf{Xb})^T (\mathbf{y} - \mathbf{Xb}) \]
Bu funksiyanı minimuma endirmək üçün S-in \( \mathbf{b} \)-ə görə qismən törəməsini götürüb sıfıra bərabərləşdiririk. Bu, çoxlu xətti reqressiya üçün normal tənliyi verir:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
Yuxarıdakı tənliklər sistemini həll etməklə, \( \mathbf{b} \) parametrinin qiymətləndirilməsini əldə edə bilərik:
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Üstünlüklər və məhdudiyyətlər
Ən kiçik kvadratlar metodunun bir çox üstünlükləri var. İstifadəsi çox səmərəli və sadə bir metoddur. Əgər \( \mathbf{X}^T \mathbf{X} \) tənzimləyicidirsə, unikal bir həll təklif edir və bu da onu bir çox praktik tətbiqlər üçün etibarlı edir.
Lakin, ən kiçik kvadratlar metodunun da məhdudiyyətləri var. Kvadrat xətası kiçik fərqlərdən daha çox böyük fərqləri vurğuladığı üçün kənaraçıxmalara qarşı çox həssasdır. Bundan əlavə, yaxşı nəticələr üçün xətaların sıfır orta və sabit dispersiya ilə normal paylanmasına malik olduğu klassik fərziyyəsinə əməl edilməlidir.
Praktik Tətbiqlər
Ən kiçik kvadratlar metodu tez-tez məlumat trendlərinin təhlili, proqnozlaşdırma və proqnozlaşdırıcı modellər qurmaq üçün maşın öyrənməsində istifadə olunur. Maliyyə sənayesində ən kiçik kvadratlar metodu səhm qiymətlərini və ya bazar performansını proqnozlaşdırmaq üçün istifadə olunur. Tibbdə dərman dozası ilə xəstənin reaksiyası arasındakı əlaqəni modelləşdirmək üçün istifadə olunur. Sosial elmlərdə təhsil və gəlir kimi dəyişənlər arasındakı əlaqəni anlamağa kömək edir.
Nəticə
Ən kiçik kvadratlar metodu statistika və məlumatların təhlilində əsas üsullardan biridir. Konsepsiya baxımından sadə olsa da, bu metod dəyişənlər arasındakı əlaqələrin modelləşdirilməsində və anlaşılmasında əhəmiyyətli güc təklif edir. Geniş sahələrdə geniş tətbiq olunduğu üçün bu metodun möhkəm başa düşülməsi həm mütəxəssislər, həm də tədqiqatçılar üçün əvəzsizdir. Gələcəkdə, böyük verilənlər dövründə rast gəlinən məlumatların həcminin artması ilə, ən kiçik kvadratlar kimi klassik metodların uyğunlaşdırılması və tətbiqi getdikcə daha da aktuallaşacaq.
