Útreikningsaðferðir í tölfræði
Í tölfræði og gagnagreiningu kemur næstum alltaf upp vandamálið með gögn sem vantar. Gögn geta vantað vegna þess að svarendur svara ekki ákveðnum spurningum, skráningarvillur, truflanir á skynjurum, gögn sem eru skemmd við útdrátt eða vegna þess að margar gagnaheimildir eru ekki alveg eins og þær eru notaðar. Ef gögnum er ekki sinnt á réttan hátt getur það dregið úr gæðum greiningarinnar , dregið úr afli prófsins og jafnvel leitt til skekktra niðurstaðna. Ein algengasta aðferðin við meðhöndlun gagna sem vantar er áætluð gögn (imputation), sem felur í sér að fylla inn í gögnin með áætluðum gildum byggðum á tiltækum upplýsingum.
Hvers vegna er útreikningur mikilvægur?
Nokkrar ástæður eru fyrir því að útreikningur er oft valinn frekar en að eyða einfaldlega gögnum sem vantar. Í fyrsta lagi getur eyðing raða/athugana sem innihalda gildi sem vantar (t.d. listavís eyðing) dregið verulega úr úrtaksstærðinni, sérstaklega þegar hlutfall gagna sem vantar er marktækt. Í öðru lagi, ef gögnin vantar ekki af handahófi, getur eyðing valdið skekkju. Í þriðja lagi þurfa margir tölfræðilegir eða vélanámsreiknirit fullnægjandi gagna , sem gerir útreikning að þægilegu forvinnsluskrefi.
Hins vegar snýst útreikningur ekki bara um að „fylla í eyðurnar“. Aðferðin sem valin er verður að taka tillit til gagnaskorts, uppbyggingar breytanna og markmiða greiningarinnar. Léleg útreikningur getur „blekkt“ líkanið, dregið úr dreifni og látið niðurstöðurnar virðast öruggari en þær í raun eru.
Gögn glötuð aðferð
Í tölfræðilegum ritum eru gögn sem vantar venjulega flokkuð í þrjá meginþætti:
1. MCAR (Missing Completely Af Handahófi (Vantar alveg af handahófi): líkurnar á að gögn vanti eru óháðar breytum, hvort sem þær eru athugaðar eða ekki. Til dæmis spurningalisti sem skemmist í slysi.
2. MAR (Missing Af Handahófi): Líkur á að gögn vanti eru háðar breytunni sem mæld er, en ekki háðar sjálfu gildinu sem vantar eftir að hafa verið tekið tillit til annarra breytna. Til dæmis eru ungir svarendur líklegri til að svara spurningum um tekjur, en aldur er tiltækur.
3. MNAR (Missing Not Af Handahófi): Líkur á að gögn vanti eru háðar sjálfu gildinu sem vantar. Til dæmis hafa einstaklingar með mjög háar tekjur tilhneigingu til að gefa ekki upp tekjur sínar.
Útreikningur er almennt öruggari samkvæmt MCAR/MAR. MNAR krefst oft líkans sem tekur skýrt tillit til gagna sem vantar eða næmnigreiningar.
Einföld útreikningsaðferð
1. Meðaltal/miðgildi/hámarksútreikningur
Einfaldasta aðferðin er að skipta út týndum gildum fyrir meðaltal eða miðgildi fyrir tölulegar breytur, og stillingu fyrir flokkabreytur. Kostirnir eru: það er auðvelt, fljótlegt og þjónar oft sem grunnlína. Ókostirnir eru: það getur dregið úr dreifni og skekkt gagnadreifinguna, sérstaklega ef gögnin eru ósamhverf eða innihalda útlæga þætti. Miðgildið er yfirleitt sterkara gagnvart útlægum gildum en meðaltalið..
2. Stöðug tilreiknun
Vantar gildi eru fyllt með ákveðnum fasta, eins og 0, -1 eða merkimiðanum „Óþekkt“. Þetta er gagnlegt þegar gildið hefur ákveðna merkingu (t.d. „engin færsla“) eða þegar líkanið þarf að fá viðbótarvísi til að varpa ljósi á vantar gildi. Hins vegar getur val á handahófskenndum fasta leitt til falskra mynstra.
3. Álagning á heitan þilfar
Í „heitum“ úrtaki eru eyður í gildum fylltar út með gildum úr öðrum, „svipaðum“ athugunum (gjöfum) sem byggjast á nokkrum lykilbreytum. Þessi aðferð er vinsæl í könnunum. „Hittir úrtakar“ viðhalda raunhæfum gildum vegna þess að þeir fanga raunveruleg gildi gagnanna, en niðurstöðurnar eru viðkvæmar fyrir skilgreiningu á „líkindum“ og geta valdið breytileika milli úrtaka.
Líkanbundin útreikningsaðferð
4. Áætlun aðhvarfsgreiningar
Vöntun á gildum er spáð með aðhvarfsgreiningu annarra breyta. Fyrir tölulegar breytur er hægt að nota línulega aðhvarfsgreiningu en fyrir flokkabreytur er hægt að nota hana. lógræn aðhvarfsgreining eða fjölliða. Kostur: nýtir sér tengslin milli breyta. Ókostur: Að nota aðeins ákveðin spágildi hefur tilhneigingu til að draga úr dreifni þar sem öll áreiknuð gildi falla nákvæmlega á spálínuna. Til að bregðast við þessu eru handahófskenndir þættir (t.d. leifar) oft bætt við til að auka raunsæi.
5. Útreikningur á k-næstu nágrönnum (kNN)
kNN aðferðin fyllir út eyður út frá meðaltali (eða atkvæðagreiðslu) k næstu nágranna. Nálægð er venjulega mæld með evklíðskri fjarlægð eða annarri mælikvarða eftir að gögnin hafa verið staðluð. Kostir hennar eru meðal annars sveigjanleiki og sú forsenda að engin línuleg tengsl séu til staðar. Ókostir eru meðal annars kostnaðarsamar útreikningar fyrir stór gagnasöfn, næmi fyrir breytilegum mælikvörðum og skerðing á afköstum á hávíddargögnum (víddarbölvun).
6. Væntingarhámarkun (EM)
Aðferðin með mælieiningu líkansins metur breytur líkansins (t.d. meðaltal og samdreifni fyrir fjölbreytu normalgögn) með því að meðhöndla vantar gildi sem dulda breytur. Skref E reiknar út ítrekandi væntingar um vantar gildi út frá núverandi breytum og síðan uppfærir skref M breyturnar út frá væntanlegum „heildstæðum“ gögnum. Aðferðin með mælieiningu líkansins er stöðug gagnvart ákveðnum dreifingarforsendum en getur verið flókin og er háð réttmæti forsendna líkansins.
Margfeldi tilreiknun: Gullstaðallinn í mörgum tilfellum
7. Margfeldi álagningar (MI)
Margfeldisútreikningur er talinn ein af grundvallarreglulegustu aðferðunum við MAR. Í stað þess að búa til eitt heildstætt gagnasafn, býr MI til mörg gagnasöfn (t.d. 5–20) með mismunandi útreikningum sem endurspegla óvissu. Hvert gagnasafn er greint sérstaklega og síðan eru niðurstöðurnar sameinaðar með reglum Rubins til að fá réttmætari mat og staðalvillur.
Kostir MI:
– Tekur tillit til óvissu í útreikningum.
– Nákvæmara fyrir tölfræðilegar ályktanir (öryggisbil, tilgátuprófun).
- Sveigjanlegt fyrir ýmsar gerðir breytileika.
Takmarkanir þess:
– Flóknari framkvæmd.
– Krefst fullnægjandi forsendna og forskrifta um tilreikningslíkön.
– Ef það vantar eitthvað í MNAR getur staðlað MI samt sem áður verið skekkt.
Útreikningur fyrir tímaraðir og rúmfræðileg gögn
Í tímaröðargögnum eru vantar gildi oft sterklega tengd fyrri og síðari gildum. Aðferðir eins og línuleg innsetningu, splínur, Kalman-síur eða ARIMA/State Space líkön eru oft notaðar. Fyrir rúmfræðileg gögn geta aðferðir eins og kriging og rúmfræðileg líkön nýtt sér landfræðilega nálægð. Þessar aðferðir eru árangursríkar þegar tímabundin/rúmfræðileg uppbygging er ríkjandi, en gæta verður varúðar gegn skyndilegum breytingum (t.d. efnahagslegum áföllum) sem geta gert einfalda innsetningu villandi.
Góðar starfsvenjur við val á útreikningsaðferðum
1. Framkvæmdu könnun á gögnum sem vanta: athugaðu hlutfall gagna sem vantar, mynstur gagna sem vantar og hvort gögnin tengjast tiltekinni breytu.
2. Aðskiljið þjálfunar- og prófunargögn: framkvæmið útreikning með því að „læra“ eingöngu af þjálfunargögnum og beitið því síðan á prófunargögn til að forðast gagnaleka.
3. Skoðið breytutegundina: tölulega, flokkaða, raðaða eða blandaða; viðeigandi aðferð er mismunandi.
4. Notið vísbendingar um vanta: stundum eru upplýsingar um að gildi vanti sjálfar spágildi; með því að bæta við vísbendingarbreytum getur það bætt afköst spálíkans.
5. Metið áhrif tilreiknunar: berið saman dreifingarnar fyrir/eftir tilreiknun, athugið hvort dreifnin hafi minnkað og staðfestið líkanið.
6. Forgangsraða MI fyrir ályktanir: þegar markmið greiningarinnar er mat á breytum og tölfræðilegar prófanir, þá er margföld tilreiknun oft viðeigandi en ein tilreiknun.
Niðurstaða
Útreikningur er mikilvægur þáttur í nútíma tölfræðilegum vinnuflæðum til að meðhöndla gögn sem vantar. Einfaldar aðferðir eins og meðaltal/miðgildi geta verið gagnlegar sem grunnlína eða fyrir lítil gögn sem vantar, en þær hafa oft áhrif á gagnauppbyggingu og óvissu. Líkanatengdar aðferðir eins og aðhvarfsgreining, kNN og EM nýta tengsl milli breyta, en margfeldi útreikningur veitir traustan ramma fyrir ályktanir með því að taka tillit til óvissu. Val á bestu aðferðinni fer eftir gagnaskortsferlinu (MCAR/MAR/MNAR), markmiði greiningarinnar (spá vs. ályktun) og eiginleikum gagnanna (tímaröð, rúmfræðileg, blandað). Með réttri nálgun hjálpar útreikningur til við að viðhalda heilleika greiningarinnar og skilar áreiðanlegri niðurstöðum.
