Imputācijas metodes statistikā
Statistikas un datu analīzes praksē gandrīz vienmēr rodas trūkstošo datu problēma. Dati var trūkt tāpēc, ka respondenti neatbild uz noteiktiem jautājumiem, ir ierakstīšanas kļūdas, sensoru traucējumi, dati ir bojāti ieguves laikā vai arī vairāku datu avotu apvienošanas procesa dēļ, kas pilnībā nesakrīt. Ja trūkstošie dati netiek pareizi apstrādāti, tie var pasliktināt analīzes kvalitāti, samazināt testa jaudu un pat novest pie neobjektīviem secinājumiem. Viena no visizplatītākajām pieejām trūkstošo datu apstrādei ir imputācija, kas ietver trūkstošo vērtību aizpildīšanu ar aprēķinātajām vērtībām, pamatojoties uz pieejamo informāciju.
Kāpēc imputācija ir svarīga?
Ir vairāki iemesli, kāpēc imputācija bieži tiek izvēlēta, nevis vienkārši trūkstošo datu dzēšana. Pirmkārt, rindu/novērojumu, kas satur trūkstošās vērtības (piemēram, saraksta dzēšana), dzēšana var ievērojami samazināt izlases lielumu, īpaši, ja trūkstošo datu procentuālā daļa ir ievērojama. Otrkārt, ja dati netrūkst nejauši, dzēšana var radīt neobjektivitāti. Treškārt, daudziem statistikas vai mašīnmācīšanās algoritmiem ir nepieciešami pilnīgi dati, padarot imputāciju par ērtu pirmapstrādes soli.
Tomēr imputācija nav tikai "robu aizpildīšana". Izvēlētajai metodei jāņem vērā trūkstošo datu mehānisms, mainīgo struktūra un analīzes mērķi. Slikta imputācija var "apmānīt" modeli, samazināt dispersiju un likt rezultātiem šķist drošākiem, nekā tie patiesībā ir.
Pazaudēto datu mehānisms
Statistikas literatūrā trūkstošos datus parasti klasificē trīs galvenajos mehānismos:
1. MCAR (pilnīgi nejauši trūkstoši dati): datu trūkuma varbūtība nav atkarīga no jebkādiem mainīgajiem, neatkarīgi no tā, vai tie ir novēroti vai nenovēroti. Piemēram, anketa, kas bojāta negadījumā.
2. MAR (Missing At Random — nejauši trūkstoši dati): datu trūkuma varbūtība ir atkarīga no novērotā mainīgā, bet nav atkarīga no pašas trūkstošās vērtības pēc citu mainīgo kontroles. Piemēram, gados jaunāki respondenti, visticamāk, neatbildēs uz jautājumiem par ienākumiem, bet vecums ir pieejams.
3. MNAR (Missing Not At Random — trūkstošie dati): trūkstošo datu varbūtība ir atkarīga no pašas trūkstošās vērtības. Piemēram, cilvēki ar ļoti augstiem ienākumiem parasti neatklāj savus ienākumus.
Imputācija parasti ir drošāka saskaņā ar MCAR/MAR. MNAR bieži vien ir nepieciešams modelis, kas skaidri ņem vērā trūkstošos datus vai jutīguma analīzi.
Vienkāršā imputācijas metode
1. Vidējā/mediāna/režīma imputācija
Vienkāršākā metode ir aizstāt trūkstošās vērtības ar vidējo vērtību vai mediānu skaitliskiem mainīgajiem un modu kategoriskajiem mainīgajiem. Priekšrocības ir šādas: tā ir vienkārša, ātra un bieži kalpo kā bāzes līnija. Trūkumi ir šādi: tā var samazināt dispersiju un izkropļot datu sadalījumu, īpaši, ja dati ir asimetriski vai satur novirzes. Mediāna parasti ir izturīgāka pret novirzēm nekā vidējā vērtība.
2. Pastāvīga imputācija
Trūkstošās vērtības tiek aizpildītas ar noteiktu konstanti, piemēram, 0, -1 vai apzīmējumu "Nezināms". Tas ir noderīgi, ja vērtībai ir noteikta nozīme (piemēram, "nav darījuma") vai ja modelim ir jāpiešķir papildu indikators, lai izceltu trūkumus. Tomēr patvaļīgas konstantes izvēle var radīt maldinošus modeļus.
3. Karstā klāja imputācija
Karstajā komplektā trūkstošās vērtības tiek aizpildītas, izmantojot vērtības no citiem, “līdzīgiem” novērojumiem (donoriem), pamatojoties uz vairākiem galvenajiem mainīgajiem. Šī metode ir populāra aptaujās. Karstie komplekti saglabā reālistiskas vērtības, jo tie atspoguļo datu faktiskās vērtības, taču rezultāti ir jutīgi pret “līdzības” definīciju un var radīt atšķirības starp izlasēm.
Uz modeli balstīta imputācijas metode
4. Regresijas imputācija
Trūkstošās vērtības tiek prognozētas, izmantojot regresijas modeli, kas atvasināts no citiem mainīgajiem. Skaitliskiem mainīgajiem var izmantot lineāro regresiju; kategoriskajiem mainīgajiem var izmantot loģistisko vai multinomiālo regresiju. Priekšrocība ir tā, ka tā izmanto attiecības starp mainīgajiem. Trūkums ir tāds, ka, izmantojot tikai deterministiskas prognozētās vērtības, dispersija parasti samazinās, jo visas imputētās vērtības precīzi atbilst prognozēšanas līnijai. Lai to risinātu, lielākas reālisma labad bieži tiek pievienotas nejaušas komponentes (piemēram, atlikumi).
5. k tuvāko kaimiņu (kNN) imputācija
kNN metode aizpilda trūkstošās vērtības, pamatojoties uz k tuvāko kaimiņu vidējo (vai balsošanas) vērtību. Tuvību parasti mēra ar Eiklīda attālumu vai citu rādītāju pēc datu normalizācijas. Tās priekšrocības ietver elastību un pieņēmumu, ka nav lineāras attiecības. Trūkumi ietver skaitļošanas izmaksas lieliem datu kopumiem, jutību pret mainīgo mērogu un veiktspējas pasliktināšanos ar daudzdimensionāliem datiem (dimensionalitātes lāsts).
6. Cerību maksimizācija (EM)
EM pieeja novērtē modeļa parametrus (piemēram, daudzfaktoru normālu datu vidējo vērtību un kovariāciju), apstrādājot trūkstošās vērtības kā latentus mainīgos. E solis iteratīvi aprēķina trūkstošo vērtību paredzamo vērtību, pamatojoties uz pašreizējiem parametriem, un pēc tam M solis atjaunina parametrus, pamatojoties uz paredzamajiem "pilnīgajiem" datiem. EM ir noturīga pret noteiktiem sadalījuma pieņēmumiem, taču var būt sarežģīta un atkarīga no modeļa pieņēmumu pareizības.
Daudzkārtēja imputācija: zelta standarts daudzos gadījumos
7. Daudzkārtēja imputācija (MI)
Vairākkārtēja imputācija tiek uzskatīta par vienu no principiālākajām MAR pieejām. Tā vietā, lai ģenerētu vienu pilnīgu datu kopu, MI ģenerē vairākus datu kopumus (piemēram, 5–20) ar dažādām imputācijām, kas atspoguļo nenoteiktību. Katrs datu kopums tiek analizēts atsevišķi, pēc tam rezultāti tiek apvienoti, izmantojot Rubina noteikumus, lai iegūtu derīgākus aprēķinus un standarta kļūdas.
MI priekšrocības:
– Ņem vērā imputācijas nenoteiktību.
– Precīzāka statistiskai secinājumu izdarīšanai (ticamības intervāli, hipotēžu pārbaude).
– Elastīgs dažādiem mainīgo veidiem.
Tās ierobežojumi:
– Sarežģītāka ieviešana.
– Nepieciešami atbilstoši pieņēmumi un imputācijas modeļa specifikācijas.
– Ja MNAR ir nepilnības, standarta MI joprojām var būt neobjektīvs.
Laika rindu un telpisko datu imputācija
Laika rindu datos trūkstošās vērtības bieži vien ir cieši korelētas ar iepriekšējām un nākamajām vērtībām. Bieži tiek izmantotas tādas metodes kā lineārā interpolācija, splaini, Kalmana filtri vai ARIMA/stāvokļa telpas modeļi. Telpisko datu gadījumā tādas pieejas kā krigings un telpiskie modeļi var izmantot ģeogrāfisko tuvumu. Šīs metodes ir efektīvas, ja dominē laika/telpiskā struktūra, taču jāievēro piesardzība pret pēkšņām izmaiņām (piemēram, ekonomiskiem satricinājumiem), kas var padarīt vienkāršu interpolāciju maldinošu.
Laba prakse imputācijas metožu izvēlē
1. Veikt trūkstošo datu izpēti: pārbaudīt trūkstošo vērtību procentuālo daļu, trūkstošo vērtību modeli un to, vai trūkstošie dati ir saistīti ar konkrētu mainīgo.
2. Atdaliet apmācības un testa datus: veiciet imputāciju, “apgūstot” tikai apmācības datus, un pēc tam piemērojiet to testa datiem, lai izvairītos no datu noplūdes.
3. Apsveriet mainīgā tipu: skaitlisks, kategorisks, kārtas vai jaukts; atbilstošā metode atšķiras.
4. Izmantojiet trūkuma indikatorus: dažreiz informācija par to, ka vērtībai trūkst, pati par sevi ir paredzoša; indikatoru mainīgo pievienošana var uzlabot paredzošā modeļa veiktspēju.
5. Novērtējiet imputācijas ietekmi: salīdziniet sadalījumus pirms/pēc imputācijas, pārbaudiet, vai dispersija ir samazinājusies, un validējiet modeli.
6. Secinājumu izdarīšanai prioritizējiet MI: ja analīzes mērķis ir parametru novērtēšana un statistiskā testēšana, daudzkārtēja imputācija bieži vien ir piemērotāka nekā vienkārša imputācija.
Secinājums
Imputācija ir būtiska mūsdienu statistikas darbplūsmu sastāvdaļa trūkstošo datu apstrādei. Vienkāršas metodes, piemēram, vidējā/mediāna, var būt noderīgas kā bāzes līnija vai nelielu trūkumu gadījumā, taču tās bieži vien apdraud datu struktūru un nenoteiktību. Uz modeļiem balstītas metodes, piemēram, regresija, kNN un EM, izmanto attiecības starp mainīgajiem, savukārt daudzkārtējā imputācija nodrošina stabilu secinājumu sistēmu, ņemot vērā nenoteiktību. Labākās metodes izvēle ir atkarīga no trūkstošo datu mehānisma (MCAR/MAR/MNAR), analīzes mērķa (prognoze pret secinājumu) un datu īpašībām (laikrindas, telpiskie, jauktie). Izmantojot pareizo pieeju, imputācija palīdz saglabāt analīzes integritāti un sniedz ticamākus secinājumus.
