Imputeerimismeetodid statistikas
Statistika ja andmeanalüüsi praktikas kerkib peaaegu alati esile puuduvate andmete probleem. Andmed võivad puududa vastajate vastamata jätmise, registreerimisvigade, andurite häirete, andmete rikutuse tõttu ekstraheerimise ajal või mitme andmeallika kombineerimise tõttu, mis ei vasta täielikult. Kui puuduvad andmed ei ole nõuetekohaselt käsitletud, võivad need halvendada analüüsi kvaliteeti, vähendada testi võimsust ja isegi viia kallutatud järeldusteni. Üks levinumaid lähenemisviise puuduvate andmete käsitlemiseks on imputeerimine, mis hõlmab puuduvate väärtuste täitmist olemasoleva teabe põhjal hinnanguliste väärtustega.
Miks on imputeerimine oluline?
On mitu põhjust, miks imputeerimist eelistatakse sageli puuduvate andmete kustutamisele. Esiteks võib puuduvaid väärtusi sisaldavate ridade/vaatluste kustutamine (nt loendipõhine kustutamine) valimi suurust drastiliselt vähendada, eriti kui puuduvate andmete osakaal on märkimisväärne. Teiseks, kui andmed ei puudu juhuslikult, võib kustutamine põhjustada eelarvamusi. Kolmandaks vajavad paljud statistilised või masinõppe algoritmid täielikke andmeid, mistõttu on imputeerimine mugav eeltöötlusetapp.
Imputeerimine ei seisne aga lihtsalt "lünkade täitmises". Valitud meetod peab arvestama puuduvate andmete mehhanismi, muutujate struktuuri ja analüüsi eesmärke. Halb imputeerimine võib mudelit "petta", vähendada dispersiooni ja jätta tulemused tegelikkusest kindlamatena.
Kadunud andmete mehhanism
Statistikakirjanduses liigitatakse puuduvad andmed tavaliselt kolme peamise mehhanismi alla:
1. MCAR (täielikult juhuslikult kadunud): andmete puudumise tõenäosus ei sõltu ühestki muutujast, olgu see siis vaadeldav või mitte. Näiteks õnnetuse tagajärjel kahjustunud küsimustik.
2. MAR (Missing At Random – juhuslikult puuduv): andmete puudumise tõenäosus sõltub vaadeldavast muutujast, kuid ei sõltu puuduvast väärtusest endast pärast teiste muutujate kontrollimist. Näiteks noored vastajad jätavad sissetulekuküsimused tõenäolisemalt vastamata, kuid vanus on saadaval.
3. MNAR (Missing Not At Random ehk puuduv mitte juhuslik): andmete puudumise tõenäosus sõltub puuduvast väärtusest endast. Näiteks väga kõrge sissetulekuga inimesed kipuvad oma sissetulekut mitte avaldama.
Imputeerimine on MCAR/MAR-i puhul üldiselt ohutum. MNAR nõuab sageli mudelit, mis arvestab otseselt puuduvate andmetega või tundlikkusanalüüsiga.
Lihtne imputeerimismeetod
1. Keskmise/mediaani/režiimi imputeerimine
Lihtsaim meetod on asendada puuduvad väärtused numbriliste muutujate puhul keskmise või mediaaniga ja kategooriliste muutujate puhul moodiga. Eelised on järgmised: see on lihtne, kiire ja toimib sageli baasjoonena. Puudused on järgmised: see võib vähendada dispersiooni ja moonutada andmete jaotust, eriti kui andmed on asümmeetrilised või sisaldavad kõrvalekaldeid. Mediaan on üldiselt kõrvalekallete suhtes robustsem kui keskmine.
2. Konstantne imputeerimine
Puuduvad väärtused täidetakse kindla konstandiga, näiteks 0, -1 või sildiga "Tundmatu". See on kasulik, kui väärtusel on kindel tähendus (nt "tehingut pole") või kui mudelile on vaja anda puudujääkide esiletõstmiseks täiendav indikaator. Suvalise konstandi valimine võib aga tekitada valesid mustreid.
3. Kuuma teki imputeerimine
Kuumas kaardipakis täidetakse puuduvad väärtused teiste, „sarnaste“ vaatluste (doonorite) väärtustega, mis põhinevad mitmel võtmemuutujal. See meetod on populaarne uuringutes. Kuumad kaardipakid säilitavad realistlikud väärtused, kuna need jäädvustavad andmete tegelikke väärtusi, kuid tulemused on tundlikud „sarnasuse“ määratluse suhtes ja võivad põhjustada valimitevahelist varieeruvust.
Mudelipõhine imputeerimismeetod
4. Regressiooni imputeerimine
Puuduvaid väärtusi ennustatakse teistest muutujatest tuletatud regressioonimudeli abil. Numbriliste muutujate puhul saab kasutada lineaarset regressiooni; kategooriliste muutujate puhul logistilist või multinoomset regressiooni. Selle eeliseks on see, et see kasutab ära muutujate vahelisi seoseid. Puuduseks on see, et ainult deterministlike ennustatud väärtuste kasutamine kipub dispersiooni vähendama, kuna kõik imputeeritud väärtused langevad täpselt ennustussirgele. Selle probleemi lahendamiseks lisatakse suurema realistlikkuse saavutamiseks sageli juhuslikke komponente (nt jääke).
5. k-lähimate naabrite (kNN) imputeerimine
kNN-meetod täidab puuduvad väärtused k lähima naabri keskmise (või hääletuse) põhjal. Lähedust mõõdetakse tavaliselt eukleidilise kauguse või mõne muu mõõdiku abil pärast andmete normaliseerimist. Selle eeliste hulka kuuluvad paindlikkus ja lineaarse seose puudumise eeldus. Puuduste hulka kuuluvad arvutuslikult kallis suurte andmekogumite puhul, tundlikkus muutuva skaala suhtes ja jõudluse halvenemine suuremõõtmeliste andmete puhul (mõõtmete needus).
6. Ootuste maksimeerimine (EM)
EM-lähenemisviis hindab mudeli parameetreid (nt mitmemõõtmeliste normaalandmete keskmist ja kovariatsiooni), käsitledes puuduvaid väärtusi latentsete muutujatena. Etapis E arvutatakse iteratiivselt puuduvate väärtuste ootus praeguste parameetrite põhjal ja seejärel uuendatakse etapis M parameetreid oodatavate "täielike" andmete põhjal. EM on teatud jaotuseelduste suhtes robustne, kuid võib olla keeruline ja sõltub mudelieelduste õigsusest.
Mitmekordne imputeerimine: paljudel juhtudel kuldstandard
7. Mitmekordne imputeerimine (MI)
Mitmekordset imputeerimist peetakse üheks põhimõttelisemaks lähenemisviisiks MAR-ile. Ühe täieliku andmestiku genereerimise asemel genereerib MI mitu andmestikku (nt 5–20) erinevate imputatsioonidega, mis kajastavad ebakindlust. Iga andmestikku analüüsitakse eraldi ja seejärel kombineeritakse tulemused Rubini reeglite abil, et saada kehtivamaid hinnanguid ja standardvigu.
MI eelised:
– Arvestab imputeerimise ebakindlusega.
– Täpsem statistiliste järelduste tegemiseks (usaldusvahemikud, hüpoteeside testimine).
– Paindlik erinevat tüüpi muutujate jaoks.
Selle piirangud:
– Keerulisem teostus.
– Nõuab piisavaid eeldusi ja imputeerimismudeli spetsifikatsioone.
– Kui MNAR-is esineb puudujääke, võib standardne MI ikkagi olla kallutatud.
Aegridade ja ruumiandmete imputeerimine
Ajaseeria andmetes on puuduvad väärtused sageli tugevas korrelatsioonis eelnevate ja järgnevate väärtustega. Sageli kasutatakse selliseid meetodeid nagu lineaarne interpolatsioon, splainid, Kalmani filtrid või ARIMA/olekuruumi mudelid. Ruumiandmete puhul saavad sellised lähenemisviisid nagu kriging ja ruumimudelid ära kasutada geograafilist lähedust. Need meetodid on tõhusad, kui domineerib ajaline/ruumiline struktuur, kuid tuleb olla ettevaatlik järskude muutuste (nt majandusšokid) suhtes, mis võivad muuta lihtsa interpolatsiooni eksitavaks.
Imputeerimismeetodite valimise head tavad
1. Uurige puuduvaid andmeid: kontrollige puuduvate väärtuste protsenti, puudumiste mustrit ja seda, kas puudujääk on seotud konkreetse muutujaga.
2. Eraldage treening- ja testandmed: tehke imputeerimine ainult treeningandmetest „õppimise” teel ja seejärel rakendage seda testandmetele, et vältida andmete lekkimist.
3. Vaatleme muutuja tüüpi: numbriline, kategooriline, ordinaal- või segamuutuja; sobiv meetod on erinev.
4. Kasutage puudujäägi indikaatoreid: mõnikord on teave väärtuse puudumise kohta iseenesest ennustav; indikaatormuutujate lisamine võib parandada ennustava mudeli toimivust.
5. Imputeerimise mõju hindamine: võrdle jaotusi enne ja pärast imputeerimist, kontrolli, kas dispersioon on vähenenud, ja valideeri mudel.
6. Järelduste tegemisel tuleb MI-d prioriseerida: kui analüüsi eesmärk on parameetrite hindamine ja statistiline testimine, on mitmekordne imputeerimine sageli sobivam kui ühekordne imputeerimine.
Järeldus
Imputeerimine on tänapäevaste statistiliste töövoogude oluline komponent puuduvate andmete käsitlemisel. Lihtsad meetodid, nagu keskmine/mediaan, võivad olla kasulikud baasjoonena või väikeste puuduste korral, kuid sageli kahjustavad need andmestruktuuri ja ebakindlust. Mudelipõhised meetodid, nagu regressioon, kNN ja EM, kasutavad ära muutujate vahelisi seoseid, samas kui mitmekordne imputeerimine pakub ebakindlust arvesse võttes järelduste tegemiseks kindla raamistiku. Parima meetodi valik sõltub puuduvate andmete mehhanismist (MCAR/MAR/MNAR), analüüsi eesmärgist (ennustus vs. järeldamine) ja andmete omadustest (aegridad, ruumilised, segaandmed). Õige lähenemisviisi korral aitab imputeerimine säilitada analüüsi terviklikkust ja annab usaldusväärsemaid järeldusi.
