Priskyrimo metodai statistikoje
Statistikos ir duomenų analizės praktikoje beveik visada iškyla trūkstamų duomenų problema. Duomenų gali trūkti dėl to, kad respondentai neatsako į tam tikrus klausimus, įrašymo klaidų, jutiklių trukdžių, duomenų iškraipymo išgavimo metu arba dėl kelių nevisiškai atitinkančių duomenų šaltinių sujungimo proceso. Jei trūkstami duomenys netinkamai tvarkomi, jie gali pabloginti analizės kokybę , sumažinti testo galią ir netgi sukelti šališkas išvadas. Vienas iš labiausiai paplitusių trūkstamų duomenų tvarkymo būdų yra imputacija, kai trūkstamos reikšmės užpildomos apskaičiuotomis reikšmėmis, pagrįstomis turima informacija.
Kodėl imputacija yra svarbi?
Yra keletas priežasčių, kodėl dažnai pasirenkamas imputavimas, o ne tiesiog trūkstamų duomenų ištrynimas. Pirma, eilučių / stebėjimų, kuriuose yra trūkstamų reikšmių, ištrynimas (pvz., sąrašinis ištrynimas) gali smarkiai sumažinti imties dydį, ypač kai trūkstamų duomenų procentas yra reikšmingas. Antra, jei duomenys netrūksta atsitiktinai, ištrynimas gali sukelti šališkumą. Trečia, daugeliui statistinių ar mašininio mokymosi algoritmų reikia visų duomenų , todėl imputavimas yra patogus išankstinio apdorojimo žingsnis.
Tačiau imputacija nėra vien tik „spragų užpildymas“. Pasirinktas metodas turi atsižvelgti į trūkstamų duomenų mechanizmą, kintamųjų struktūrą ir analizės tikslus. Prasta imputacija gali „apgauti“ modelį, sumažinti dispersiją ir pateikti rezultatus, kurie atrodo tikslesni nei yra iš tikrųjų.
Prarastų duomenų mechanizmas
Statistikos literatūroje trūkstami duomenys paprastai skirstomi į tris pagrindinius mechanizmus:
1. MCAR (visiškai atsitiktinai trūkstami duomenys): trūkstamų duomenų tikimybė nepriklauso nuo jokių kintamųjų, stebimų ar nestebimų. Pavyzdžiui, klausimynas sugadintas dėl nelaimingo atsitikimo.
2. MAR (angl. Missing At Random – atsitiktinai trūkstami duomenys): trūkstamų duomenų tikimybė priklauso nuo stebimo kintamojo, bet nepriklauso nuo pačios trūkstamos vertės, atsižvelgus į kitus kintamuosius. Pavyzdžiui, jauni respondentai dažniau neatsako į klausimus apie pajamas, tačiau duomenys apie amžių yra prieinami.
3. MNAR (Missing Not At Random – trūkstami duomenys ne atsitiktinai): duomenų trūkumo tikimybė priklauso nuo pačios trūkstamos reikšmės. Pavyzdžiui, labai dideles pajamas gaunantys žmonės linkę neatskleisti savo pajamų.
Priskyrimas pagal MCAR/MAR paprastai yra saugesnis. MNAR dažnai reikalauja modelio, kuris aiškiai atsižvelgtų į trūkstamus duomenis, arba jautrumo analizės.
Paprastas imputacijos metodas
1. Vidurkio / medianos / režimo priskyrimas
Paprasčiausias metodas yra pakeisti trūkstamas reikšmes skaitinių kintamųjų vidurkiu arba mediana, o kategorinių kintamųjų – moda. Privalumai: tai paprasta, greita ir dažnai naudojama kaip pradinis lygis. Trūkumai: tai gali sumažinti dispersiją ir iškreipti duomenų pasiskirstymą, ypač jei duomenys yra asimetriški arba juose yra išskirtinių reikšmių. Mediana paprastai yra atsparesnė išskirtims nei vidurkis..
2. Nuolatinė imputacija
Trūkstamos reikšmės užpildomos konkrečia konstanta, pvz., 0, -1 arba žyma „Nežinoma“. Tai naudinga, kai reikšmė turi konkrečią reikšmę (pvz., „nėra operacijos“) arba kai modeliui reikia suteikti papildomą indikatorių, kad būtų paryškintas trūkumas. Tačiau pasirinkus savavališką konstantą, gali atsirasti klaidingų modelių.
3. Karštojo denio priskyrimas
Karštajame rinkinyje trūkstamos reikšmės užpildomos naudojant kitų, „panašių“ stebėjimų (donorų) reikšmes, pagrįstas keliais pagrindiniais kintamaisiais. Šis metodas populiarus apklausose. Karštieji rinkiniai išlaiko realistiškas reikšmes, nes fiksuoja faktines duomenų reikšmes, tačiau rezultatai yra jautrūs „panašumo“ apibrėžimui ir gali sukelti imčių skirtumus.
Modeliu pagrįstas imputacijos metodas
4. Regresinė imputacija
Trūkstamos vertės prognozuojamos naudojant kitų kintamųjų regresinį modelį. Skaitmeniniams kintamiesiems galima naudoti tiesinę regresiją, kategoriniams kintamiesiems – ją. logistinė regresija arba daugianaris. Privalumas: išnaudoja ryšius tarp kintamųjų. Trūkumas: naudojant tik deterministines prognozuojamas vertes, dispersija paprastai sumažėja, nes visos priskirtos vertės tiksliai atitinka prognozuojamą tiesę. Siekiant tai išspręsti, dažnai pridedami atsitiktiniai komponentai (pvz., liekanos), kad būtų didesnis realizmas.
5. k artimiausių kaimynų (kNN) imputacija
kNN metodas užpildo trūkstamas reikšmes remdamasis artimiausių k kaimynų vidurkiu (arba balsavimu). Artimumas paprastai matuojamas euklidiniu atstumu arba kitu rodikliu, normalizavus duomenis. Jo privalumai yra lankstumas ir prielaida, kad nėra tiesinio ryšio. Trūkumai yra brangūs skaičiavimai dideliems duomenų rinkiniams, jautrumas kintamųjų masteliui ir našumo pablogėjimas dirbant su daugiamačiais duomenimis (dimensiškumo prakeiksmas).
6. Lūkesčių maksimizavimas (LMP)
EM metodas įvertina modelio parametrus (pvz., daugiamačių normalių duomenų vidurkį ir kovariaciją), trūkstamas vertes laikydamas latentiniais kintamaisiais. E etape iteratyviai apskaičiuojamas trūkstamų verčių tikėtinos vertės, remiantis dabartiniais parametrais, o tada M etape parametrai atnaujinami remiantis numatomais „pilnais“ duomenimis. EM yra atsparus tam tikroms pasiskirstymo prielaidoms, tačiau gali būti sudėtingas ir priklauso nuo modelio prielaidų teisingumo.
Daugybinė imputacija: auksinis standartas daugeliu atvejų
7. Daugybinė imputacija (MI)
Daugybinė imputacija laikoma vienu principingiausių MAR metodų. Užuot generavęs vieną pilną duomenų rinkinį, MI generuoja kelis duomenų rinkinius (pvz., 5–20) su skirtingomis imputacijomis, kurios atspindi neapibrėžtumą. Kiekvienas duomenų rinkinys analizuojamas atskirai, o tada rezultatai sujungiami naudojant Rubino taisykles, siekiant gauti patikimesnius įverčius ir standartines paklaidas.
MI privalumai:
– Atsižvelgia į imputacijos neapibrėžtumą.
– Tikslesnis statistinių išvadų darymui (pasitikimieji intervalai, hipotezių tikrinimas).
– Lankstus įvairių tipų kintamiesiems.
Jo apribojimai:
– Sudėtingesnis įgyvendinimas.
– Reikalingos tinkamos prielaidos ir imputacijos modelio specifikacijos.
– Jei MNAR trūksta informacijos, standartinis MI vis tiek gali būti šališkas.
Laiko eilučių ir erdvinių duomenų imputacija
Laiko eilučių duomenyse trūkstamos reikšmės dažnai yra stipriai koreliuojamos su ankstesnėmis ir vėlesnėmis reikšmėmis. Dažnai naudojami tokie metodai kaip tiesinė interpoliacija, splainai, Kalmano filtrai arba ARIMA/būsenos erdvės modeliai. Erdviniams duomenims tokie metodai kaip krigingas ir erdviniai modeliai gali išnaudoti geografinį artumą. Šie metodai yra veiksmingi, kai dominuoja laiko/erdvinė struktūra, tačiau reikia būti atsargiems dėl staigių pokyčių (pvz., ekonominių sukrėtimų), kurie gali klaidinti paprastą interpoliaciją.
Gera praktika renkantis imputacijos metodus
1. Atlikite trūkstamų duomenų tyrimą: patikrinkite trūkstamų reikšmių procentą, trūkstamų reikšmių modelį ir ar trūkstamos reikšmės yra susijusios su konkrečiu kintamuoju.
2. Atskirti mokymo ir testavimo duomenis: atlikti imputaciją „mokymosi“ būdu tik iš mokymo duomenų, tada pritaikyti tai testavimo duomenims, kad būtų išvengta duomenų nutekėjimo.
3. Atsižvelkite į kintamojo tipą: skaitinį, kategorinį, ranginį arba mišrųjį; tinkamas metodas skiriasi.
4. Naudokite trūkumo indikatorius: kartais informacija apie trūkstamą reikšmę pati savaime yra nuspėjamoji; indikatorinių kintamųjų pridėjimas gali pagerinti nuspėjamojo modelio našumą.
5. Įvertinkite imputacijos poveikį: palyginkite skirstinius prieš ir po imputacijos, patikrinkite, ar dispersija sumažėjo, ir patvirtinkite modelį.
6. Išvadoms teikti pirmenybę MI: kai analizės tikslas yra parametrų įvertinimas ir statistinis testavimas, daugkartinis priskyrimas dažnai yra tinkamesnis nei vienkartinis.
Išvada
Priskyrimas yra labai svarbus šiuolaikinių statistinių procesų komponentas, skirtas trūkstamiems duomenims tvarkyti. Paprasti metodai, tokie kaip vidurkis/mediana, gali būti naudingi kaip pradinis lygis arba esant nedideliems trūkumams, tačiau dažnai kenkia duomenų struktūrai ir neapibrėžtumui. Modeliais pagrįsti metodai, tokie kaip regresija, kNN ir EM, išnaudoja ryšius tarp kintamųjų, o daugybinė priskyrimas suteikia tvirtą išvadų darymo sistemą, atsižvelgiant į neapibrėžtumą. Geriausio metodo pasirinkimas priklauso nuo trūkstamų duomenų mechanizmo (MCAR/MAR/MNAR), analizės tikslo (prognozavimas ar išvada) ir duomenų charakteristikų (laiko eilutės, erdvinės, mišrios). Taikant tinkamą metodą, priskyrimas padeda išlaikyti analizės vientisumą ir pateikia patikimesnes išvadas.
