Վիճակագրության մեջ իմպուտացիայի մեթոդներ
Վիճակագրության և տվյալների վերլուծության պրակտիկայում գրեթե միշտ առաջանում է բացակայող տվյալների խնդիրը: Տվյալները կարող են բացակայել որոշակի հարցերի չպատասխանելու, գրանցման սխալների, սենսորների միջամտության, տվյալների արդյունահանման ընթացքում վնասվելու կամ բազմաթիվ տվյալների աղբյուրների համատեղման գործընթացի պատճառով, որոնք լիովին չեն համընկնում: Եթե դրանք պատշաճ կերպով չմշակվեն, բացակայող տվյալները կարող են վատթարացնել վերլուծության որակը , նվազեցնել թեստի հզորությունը և նույնիսկ հանգեցնել կողմնակալ եզրակացությունների: Բացակայող տվյալների մշակման ամենատարածված մոտեցումներից մեկը իմպուտացիան է, որը ներառում է բացակայող արժեքները լրացնել առկա տեղեկատվության հիման վրա գնահատված արժեքներով:
Ինչո՞ւ է կարևոր ներգրավումը։
Կան մի քանի պատճառներ, թե ինչու է հաճախ ընտրվում իմպուտացիան՝ բացակայող տվյալները պարզապես ջնջելու փոխարեն։ Նախ, բացակայող արժեքներ պարունակող տողերի/դիտարկումների ջնջումը (օրինակ՝ ցուցակային ջնջումը) կարող է զգալիորեն նվազեցնել նմուշի չափը, հատկապես, երբ բացակայող տվյալների տոկոսը նշանակալի է։ Երկրորդ, եթե տվյալները պատահականորեն չեն բացակայում, ջնջումը կարող է առաջացնել կողմնակալություն։ Երրորդ, շատ վիճակագրական կամ մեքենայական ուսուցման ալգորիթմներ պահանջում են ամբողջական տվյալներ , ինչը իմպուտացիան դարձնում է հարմար նախնական մշակման քայլ։
Սակայն, իմպուտացիան պարզապես «բացթողումները լրացնելու» մասին չէ։ Ընտրված մեթոդը պետք է հաշվի առնի բացակայող տվյալների մեխանիզմը, փոփոխականների կառուցվածքը և վերլուծության նպատակները։ Վատ իմպուտացիան կարող է «խաբել» մոդելը, նվազեցնել շեղումը և արդյունքները դարձնել ավելի հավաստի, քան դրանք իրականում կան։
Կորած տվյալների մեխանիզմ
Վիճակագրական գրականության մեջ բացակայող տվյալները սովորաբար դասակարգվում են երեք հիմնական մեխանիզմների՝
1. MCAR (ամբողջովին պատահական բացակայող տվյալներ). տվյալների բացակայելու հավանականությունը անկախ է որևէ փոփոխականից՝ դիտարկված կամ չդիտարկված: Օրինակ՝ վթարի հետևանքով վնասված հարցաթերթիկ:
2. MAR (Պատահական բացակայող տվյալներ). բացակայող տվյալների հավանականությունը կախված է դիտարկվող փոփոխականից, բայց կախված չէ բացակայող արժեքից՝ այլ փոփոխականների վրա վերահսկողությունից հետո: Օրինակ, երիտասարդ հարցվողներն ավելի հավանական է, որ բաց կթողնեն եկամտի վերաբերյալ հարցերը, բայց տարիքը հասանելի է:
3. MNAR (Պատահական չէ բացակայում). Բացակայող տվյալների հավանականությունը կախված է բացակայող արժեքից։ Օրինակ, շատ բարձր եկամուտ ունեցող մարդիկ հակված են չբացահայտել իրենց եկամուտը։
MCAR/MAR-ի դեպքում իմպուտացիան ընդհանուր առմամբ ավելի անվտանգ է: MNAR-ը հաճախ պահանջում է մոդել, որը հստակորեն հաշվի է առնում բացակայող տվյալները կամ զգայունության վերլուծություն:
Պարզ վերագրման մեթոդ
1. Միջին/միջնարժեք/մոդայի իմպուտացիա
Ամենապարզ մեթոդը բացակայող արժեքները թվային փոփոխականների համար միջինով կամ միջնարժեքով, իսկ կատեգորիկ փոփոխականների համար՝ մոդով փոխարինելն է։ Առավելություններն են՝ այն հեշտ է, արագ և հաճախ ծառայում է որպես բազային արժեք։ Թերություններն են՝ այն կարող է նվազեցնել դիսպերսիան և աղավաղել տվյալների բաշխումը, հատկապես, եթե տվյալները ասիմետրիկ են կամ պարունակում են արտառոց արժեքներ։ Միջնարժեքը սովորաբար ավելի կայուն է արտառոց արժեքների նկատմամբ, քան միջինը։.
2. Հաստատուն վերագրում
Բացակայող արժեքները լրացվում են որոշակի հաստատունով, օրինակ՝ 0, -1, կամ «Անհայտ» պիտակով։ Սա օգտակար է, երբ արժեքն ունի որոշակի նշանակություն (օրինակ՝ «գործարք չկա»), կամ երբ մոդելին անհրաժեշտ է տալ լրացուցիչ ցուցիչ՝ բացակայող արժեքները ընդգծելու համար։ Սակայն, կամայական հաստատունի ընտրությունը կարող է կեղծ օրինաչափություններ ներմուծել։
3. Թեժ տախտակամածի իմպուտացիա
Տաք տախտակում բացակայող արժեքները լրացվում են՝ օգտագործելով այլ, «նմանատիպ» դիտարկումներից (դոնորներից) ստացված արժեքներ՝ հիմնված մի քանի հիմնական փոփոխականների վրա: Այս մեթոդը տարածված է հարցումներում: Տաք տախտակները պահպանում են իրատեսական արժեքներ, քանի որ դրանք գրանցում են տվյալների իրական արժեքները, սակայն արդյունքները զգայուն են «նմանության» սահմանման նկատմամբ և կարող են առաջացնել միջնորմային տատանումներ:
Մոդելի վրա հիմնված իմպուտացիայի մեթոդ
4. Ռեգրեսիայի իմպուտացիա
Բացակայող արժեքները կանխատեսվում են այլ փոփոխականների ռեգրեսիոն մոդելի միջոցով: Թվային փոփոխականների համար կարող է օգտագործվել գծային ռեգրեսիան, իսկ կատեգորիկ փոփոխականների համար՝ այն: լոգիստիկ ռեգրեսիա կամ բազմանդամ։ Առավելություն՝ օգտագործում է փոփոխականների միջև եղած կապերը։ Թերություն՝ միայն դետերմինիստական կանխատեսված արժեքների օգտագործումը հակված է նվազեցնելու դիսպերսիան, քանի որ բոլոր վերագրվող արժեքները ընկնում են ճիշտ կանխատեսված գծի վրա։ Այս խնդիրը լուծելու համար, ավելի մեծ իրատեսության համար հաճախ ավելացվում են պատահական բաղադրիչներ (օրինակ՝ մնացորդներ)։
5. k-ամենամոտ հարևանների (kNN) ներածություն
kNN մեթոդը լրացնում է բաց թողնված արժեքները՝ հիմնվելով k ամենամոտ հարևանների միջինի (կամ քվեարկության) վրա: Մոտիկությունը սովորաբար չափվում է Էվկլիդեսյան հեռավորությամբ կամ այլ չափանիշով՝ տվյալների նորմալացումից հետո: Դրա առավելություններից են ճկունությունը և գծային կապի բացակայության ենթադրությունը: Թերություններից են մեծ տվյալների հավաքածուների համար հաշվողական թանկությունը, փոփոխական մասշտաբի նկատմամբ զգայունությունը և բարձր չափողական տվյալների վրա կատարողականի վատթարացումը (չափողականության անեծք):
6. Ակնկալիք-մաքսիմալացում (ԱԿ)
EM մոտեցումը գնահատում է մոդելի պարամետրերը (օրինակ՝ միջին արժեքը և կովարիացիան բազմափոփոխական նորմալ տվյալների համար)՝ բացակայող արժեքները դիտարկելով որպես թաքնված փոփոխականներ: E քայլը իտերատիվ կերպով հաշվարկում է բացակայող արժեքների սպասվող արժեքը՝ հիմնվելով ընթացիկ պարամետրերի վրա, ապա M քայլը թարմացնում է պարամետրերը՝ հիմնվելով սպասվող «ամբողջական» տվյալների վրա: EM-ը կայուն է որոշակի բաշխման ենթադրությունների նկատմամբ, բայց կարող է բարդ լինել և կախված է մոդելի ենթադրությունների ճշգրտությունից:
Բազմակի վերագրում. ոսկե ստանդարտը շատ դեպքերում
7. Բազմակի իմպուտացիա (ԲԻ)
Բազմակի իմպուտացիան համարվում է MAR-ի ամենասկզբունքային մոտեցումներից մեկը: Մեկ ամբողջական տվյալների բազմություն ստեղծելու փոխարեն, MI-ն ստեղծում է բազմաթիվ տվյալների բազմություններ (օրինակ՝ 5-20)՝ տարբեր իմպուտացիաներով, որոնք արտացոլում են անորոշությունը: Յուրաքանչյուր տվյալների բազմություն վերլուծվում է առանձին, այնուհետև արդյունքները համակցվում են Ռուբինի կանոնների միջոցով՝ ավելի վավերական գնահատականներ և ստանդարտ սխալներ ստանալու համար:
ՄՀ-ի առավելությունները՝
– Հաշվի է առնում վերագրման անորոշությունը։
– Ավելի ճշգրիտ վիճակագրական եզրակացության համար (վստահության միջակայքեր, վարկածի ստուգում).
- ճկուն է տարբեր տեսակի փոփոխականների համար։
Դրա սահմանափակումները.
- Ավելի բարդ իրականացում:
– Պահանջում է համարժեք ենթադրություններ և իմպուտացիոն մոդելի սպեցիֆիկացիաներ։
– Եթե MNAR-ում բացթողումներ կան, ստանդարտ MI-ն դեռ կարող է կողմնակալ լինել։
Ժամանակային շարքերի և տարածական տվյալների վերագրում
Ժամանակային շարքերի տվյալներում բացակայող արժեքները հաճախ ուժեղ կապ ունեն իրենց նախորդող և հաջորդող արժեքների հետ: Հաճախ օգտագործվում են այնպիսի մեթոդներ, ինչպիսիք են գծային ինտերպոլյացիան, սպլայնները, Կալմանի ֆիլտրերը կամ ARIMA/State Space մոդելները: Տարածական տվյալների համար կրիգինգի և տարածական մոդելների նման մոտեցումները կարող են օգտագործել աշխարհագրական մոտիկությունը: Այս մեթոդները արդյունավետ են, երբ գերիշխող է ժամանակային/տարածական կառուցվածքը, բայց զգույշ պետք է լինել հանկարծակի փոփոխությունների նկատմամբ (օրինակ՝ տնտեսական ցնցումներ), որոնք կարող են պարզ ինտերպոլյացիան մոլորեցնող դարձնել:
Իմպուտացիայի մեթոդների ընտրության լավագույն փորձը
1. Կատարեք բացակայող տվյալների ուսումնասիրություն. ստուգեք բացակայող արժեքների տոկոսը, բացակայող արժեքների օրինաչափությունը և արդյոք այդ բացակայող տվյալները կապված են որևէ որոշակի փոփոխականի հետ։
2. Առանձնացրեք մարզման և թեստավորման տվյալները. կատարեք իմպուտացիա՝ «սովորելով» միայն մարզման տվյալներից, այնուհետև կիրառեք այն թեստային տվյալների վրա՝ տվյալների արտահոսքից խուսափելու համար։
3. Դիտարկեք փոփոխականի տեսակը՝ թվային, կատեգորիկ, կարգային կամ խառը. համապատասխան մեթոդը տարբեր է։
4. Օգտագործեք բացակայող ցուցիչներ. երբեմն արժեքի բացակայող տեղեկատվությունը ինքնին կանխատեսող է. ցուցիչ փոփոխականների ավելացումը կարող է բարելավել կանխատեսող մոդելի արդյունավետությունը:
5. Գնահատեք իմպուտացիայի ազդեցությունը. համեմատեք բաշխումները իմպուտացիայից առաջ/հետո, ստուգեք, թե արդյոք շեղումը նվազել է, և վավերացրեք մոդելը։
6. Եզրակացության համար առաջնահերթություն տվեք ՄՀ-ին. երբ վերլուծության նպատակը պարամետրերի գնահատումն ու վիճակագրական թեստավորումն է, բազմակի իմպուտացիան հաճախ ավելի նպատակահարմար է, քան մեկ իմպուտացիան։
Եզրակացություն
Իմպուտացիան ժամանակակից վիճակագրական աշխատանքային հոսքերի կարևորագույն բաղադրիչ է բացակայող տվյալների մշակման համար: Պարզ մեթոդները, ինչպիսիք են միջինը/միջնարժեքը, կարող են օգտակար լինել որպես բազային արժեք կամ փոքր բացթողումների համար, բայց հաճախ վտանգում են տվյալների կառուցվածքը և անորոշությունը: Մոդելի վրա հիմնված մեթոդները, ինչպիսիք են ռեգրեսիան, kNN-ը և EM-ը, օգտագործում են փոփոխականների միջև եղած կապերը, մինչդեռ բազմակի իմպուտացիան ապահովում է եզրակացության համար ամուր շրջանակ՝ հաշվի առնելով անորոշությունը: Լավագույն մեթոդի ընտրությունը կախված է բացակայող տվյալների մեխանիզմից (MCAR/MAR/MNAR), վերլուծության նպատակից (կանխատեսում vs եզրակացություն) և տվյալների բնութագրերից (ժամանակային շարքեր, տարածական, խառը): Ճիշտ մոտեցմամբ իմպուտացիան օգնում է պահպանել վերլուծության ամբողջականությունը և տալիս է ավելի հուսալի եզրակացություններ:
