Նվազագույն քառակուսիների մեթոդ

Նվազագույն քառակուսիների մեթոդ. Համապարփակ վերլուծություն

Նվազագույն քառակուսիների մեթոդը վիճակագրական ռեգրեսիոն վերլուծության ամենահիմնարար մեթոդներից մեկն է, որը կարևոր դեր է խաղում տվյալների համապատասխանեցման, մոդելավորման և կանխատեսողական վերլուծության մեջ: Այն մաթեմատիկական մոտեցում է, որը նվազագույնի է հասցնում դիտարկվող և կանխատեսված արժեքների միջև տարբերությունների քառակուսիների գումարը: Այդպիսով, այն ապահովում է տվյալ տվյալների միավորների բազմությանը լավագույնս համապատասխանող գիծը կամ կորը: Այս հոդվածում մենք կուսումնասիրենք Նվազագույն քառակուսիների մեթոդի հիմունքները, կիրառությունները, ածանցումները և սահմանափակումները:

Պատմական ակնարկ

Փոքրագույն քառակուսիների մեթոդը առաջին անգամ ներկայացրել է Կարլ Ֆրիդրիխ Գաուսը 1795 թվականին՝ 18 տարեկան հասակում, չնայած այն հրապարակվել է միայն 1809 թվականին: Ադրիեն-Մարի Լեժանդրը, մեկ այլ ականավոր մաթեմատիկոս, անկախ մշակել և հրապարակել է նմանատիպ մեթոդ 1805 թվականին: Դրան չնայած, Գաուսի կողմից մեթոդի նշումը և ընդլայնումը հիմք դրեցին ժամանակակից օգտագործմանը:

Մաթեմատիկական հիմնադրամ

Ամենապարզ ձևով, նվազագույն քառակուսիների մեթոդը օգտագործվում է գծային մոդելը տվյալների կետերի բազմությանը տեղավորելու համար: Տրված է `n` տվյալների կետերի բազմություն ((x_1, y_1), (x_2, y_2), …, (x_n, y_n)), նպատակն է գտնել (y = mx + c) գիծ, ​​որը նվազագույնի է հասցնում ուղղահայաց հեռավորությունների (մնացորդների) քառակուսիների գումարը (y_i) դիտարկված արժեքների և (hat{y}_i) գծով կանխատեսված արժեքների միջև):

Մաթեմատիկորեն, այս նպատակը կարող է ներկայացվել հետևյալ կերպ.

\[ S = \sum_{i=1}^{n} (y_i – \hat{y}_i)^2 = \sum_{i=1}^{n} (y_i – (mx_i + c))^2 \]

Այս հավասարումը ներկայացնում է մնացորդների քառակուսիների գումարը՝ \(S\), և մեր նպատակն է գտնել \(m\) (թեքություն) և \(c\) (հատում) արժեքները, որոնք նվազագույնի են հասցնում \(S\)-ը։

Ածանցում

\(m\) և \(c\) արժեքները գտնելու համար, որոնք նվազագույնի են հասցնում \(S\) քառակուսիների գումարը, մենք վերցնում ենք \(S\) մասնակի ածանցյալները \(m\) և \(c\)-ի նկատմամբ և դրանք զրոյի ենք հավասարեցնում։

1. Մասնակի ածանցյալ \(m\)-ի նկատմամբ՝

\[ \frac{\partial S}{\partial m} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-x_i) = 0 \]

2. Մասնակի ածանցյալ \(c\)-ի նկատմամբ՝

\[ \frac{\partial S}{\partial c} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-1) = 0 \]

Այս միաժամանակյա հավասարումների լուծումը հանգեցնում է նորմալ հավասարումների՝

\[ m = \frac{n(\sum x_i y_i) – (\sum x_i)(\sum y_i)}{n (\sum x_i^2) – (\sum x_i)^2} \]

\[ c = \frac{(\sum y_i)(\sum x_i^2) – (\sum x_i)(\sum x_i y_i)}{n(\sum x_i^2) – (\sum x_i)^2} \]

Այս հավասարումները մեզ տալիս են \(m\) և \(c\) արժեքները, որոնք նվազագույնի են հասցնում մնացորդների քառակուսիների գումարը։

Ծրագրեր

Նվազագույն քառակուսիների մեթոդը լայն կիրառություն ունի տարբեր ոլորտներում՝

1. Տնտեսագիտություն և ֆինանսներ. Օգտագործվում է տնտեսական ցուցանիշների, ինչպիսիք են ՀՆԱ-ն, գնաճի մակարդակը և բաժնետոմսերի գները, մոդելավորման և կանխատեսման համար:

2. Ճարտարագիտություն. Կիրառվում է ազդանշանների մշակման, կառավարման համակարգերի և հուսալիության ստուգման մեջ՝ մոդելները էմպիրիկ տվյալներին համապատասխանեցնելու համար։

3. Բժշկություն. Օգնում է աճի կորերը, դեղաչափ-արձագանքման կորերը և այլ կենսաբանական գործընթացները համապատասխանեցնել փորձարարական տվյալներին։

4. Մեքենայական ուսուցում. Գծային ռեգրեսիայի մոդելները, որոնք հաճախ օգտագործում են նվազագույն քառակուսիների մեթոդը պարամետրերի գնահատման համար, հիմնարար են վերահսկվող ուսուցման տեխնիկաներում:

5. Աստղագիտություն. Պատմականորեն օգտագործվել է Գաուսի կողմից երկնային մարմինների ուղեծրերը հաշվարկելու համար։

Տարբերակներ և ընդլայնումներ

1. Կշռված նվազագույն քառակուսիների մեթոդը. Այն դեպքերում, երբ դիտարկումներն ունեն տարբեր շեղումներ, Կշռված նվազագույն քառակուսիների մեթոդը կշիռներ է վերագրում յուրաքանչյուր տվյալային կետին՝ նվազագույնի հասցնելով քառակուսիների կշռված գումարը։

2. Ոչ գծային նվազագույն քառակուսիների մեթոդ. Ընդլայնում է մեթոդը՝ ոչ գծային մոդելներին համապատասխանեցնելու համար, հաճախ՝ իտերատիվ տեխնիկաների միջոցով, ինչպիսիք են Գաուս-Նյուտոնի կամ Լևենբերգ-Մարկվարդտի ալգորիթմները:

3. Կանոնավորացված նվազագույն քառակուսիներ (լեռնաշղթաների ռեգրեսիա). քառակուսիների գումարին ավելացնում է տուգանային անդամ՝ գերհարմարեցումը կանխելու համար, հատկապես օգտակար է բազմակոլինեարության դեպքում։

4. Ընդհանրացված նվազագույն քառակուսիների մեթոդ. Հաշվի է առնում փոխկապակցված դիտարկումները՝ ընդլայնելով նվազագույն քառակուսիների մեթոդը՝ ավտոկոռելյացիոն և հետերոսկեդաստիկ սխալները կարգավորելու համար։

Հաշվողական գործիքներ

Տարբեր ծրագրային գործիքներ և ծրագրավորման միջավայրեր առաջարկում են ներկառուցված ֆունկցիաներ՝ նվազագույն քառակուսիների ռեգրեսիա կատարելու համար.

1. Python. NumPy-ի և SciPy-ի նման գրադարանները համապատասխանաբար ապահովում են `numpy.linalg.lstsq` և `scipy.optimize.curve_fit` ֆունկցիաները գծային և ոչ գծային նվազագույն քառակուսիների հարմարեցման համար։

2. R: R-ի համապարփակ վիճակագրական միջավայրում գծային մոդելների համար `lm()` և ոչ գծային մոդելների համար `nls()` ֆունկցիաներ։

3. MATLAB: MATLAB-ում `lsqcurvefit` ֆունկցիան օգտագործվում է ոչ գծային տեղավորման համար՝ գծային հանրահաշվի գործողությունների ներկառուցված աջակցությամբ։

Սահմանափակումները

Չնայած իր լայն կիրառմանը, նվազագույն քառակուսիների մեթոդն ունի իր սահմանափակումները.

1. Զգայունություն արտառոց արժեքների նկատմամբ. Նվազագույն քառակուսիների մեթոդը խիստ զգայուն է արտառոց արժեքների նկատմամբ, քանի որ քառակուսի անդամը ուժեղացնում է մեծ մնացորդների ազդեցությունը։

2. Գծայինության ենթադրություն. Ենթադրում է փոփոխականների միջև գծային կապ, որը կարող է ճիշտ չլինել բարդ տվյալների բազմությունների համար։

3. Բազմակի գծային ռեգրեսիայի խնդիրներ. Բազմակի գծային ռեգրեսիայի դեպքում կանխատեսող փոփոխականների միջև բազմակի գծայինությունը կարող է աղավաղել գործակիցների գնահատականը։

4. Վարիացիայի միատարրություն (հոմոսկեդաստիկություն). Ենթադրվում է, որ սխալի անդամների վարիացիան հաստատուն է դիտարկումների տարբեր փուլերում, ինչը միշտ չէ, որ այդպես է։

Եզրափակում

Նվազագույն քառակուսիների մեթոդը, չնայած իր հնությանը, մնում է վիճակագրական տվյալների վերլուծության և մոդելավորման անկյունաքարը: Դրա պարզությունը, արդյունավետությունը և տարբեր ձևերի հարմարվողականությունը՝ սկսած հիմնական գծային ռեգրեսիայից մինչև բարդ ոչ գծային և ընդհանրացված մոդելներ, այն դարձնում են անգնահատելի: Դրա մաթեմատիկական հիմքերի, կիրառությունների և սահմանափակումների ըմբռնումը կարևոր է տվյալների վերլուծությամբ զբաղվող յուրաքանչյուրի համար՝ ապահովելով, որ մեթոդը պատշաճ կերպով կիրառվի՝ իմաստալից պատկերացումներ ստանալու համար: Անկախ նրանից, թե դա ակադեմիական ոլորտում է, թե արդյունաբերության մեջ, Նվազագույն քառակուսիների մեթոդը շարունակում է մնալ հզոր գործիք տվյալների միջև եղած փոխհարաբերությունները հասկանալու և հիմնավորված կանխատեսումներ անելու համար: