Dulliau Cyfrifiadu mewn Ystadegau
Wrth ymarfer ystadegau a dadansoddi data, mae problem data coll bron bob amser yn codi. Gall data fod ar goll oherwydd nad yw ymatebwyr yn ateb cwestiynau penodol, gwallau cofnodi, ymyrraeth synhwyrydd, data llygredig yn ystod echdynnu, neu oherwydd y broses o gyfuno sawl ffynhonnell ddata nad ydynt yn cyfateb yn llawn. Os na chaiff ei drin yn iawn, gall data coll ddiraddio ansawdd y dadansoddiad, lleihau pŵer y prawf, a hyd yn oed arwain at gasgliadau rhagfarnllyd. Un o'r dulliau mwyaf cyffredin o drin data coll yw imputiad, sy'n cynnwys llenwi gwerthoedd coll gyda gwerthoedd amcangyfrifedig yn seiliedig ar y wybodaeth sydd ar gael.
Pam mae Cyfrifiadu yn Bwysig?
Mae sawl rheswm pam mae imputiad yn aml yn cael ei ddewis yn hytrach na dileu data coll yn unig. Yn gyntaf, gall dileu rhesi/arsylwadau sy'n cynnwys gwerthoedd coll (e.e. dileu rhestr-fesul) leihau maint y sampl yn sylweddol, yn enwedig pan fo canran y data coll yn arwyddocaol. Yn ail, os nad yw'r data ar goll ar hap, gall dileu gyflwyno rhagfarn. Yn drydydd, mae angen data cyflawn ar lawer o algorithmau ystadegol neu ddysgu peirianyddol, gan wneud imputiad yn gam cyn-brosesu cyfleus.
Fodd bynnag, nid yw imputiad yn ymwneud â "llenwi'r bylchau" yn unig. Rhaid i'r dull a ddewisir ystyried y mecanwaith data coll, strwythur y newidynnau, ac amcanion y dadansoddiad. Gall imputiad gwael "dwyllo" y model, lleihau amrywiant, a gwneud i'r canlyniadau ymddangos yn fwy sicr nag ydyn nhw mewn gwirionedd.
Mecanwaith Colli Data
Yn y llenyddiaeth ystadegol, mae data coll fel arfer yn cael ei ddosbarthu i dri phrif fecanwaith:
1. MCAR (Ar Goll yn Gyfan ar Hap): mae'r tebygolrwydd o ddata ar goll yn annibynnol ar unrhyw newidynnau, a welwyd neu a arsylwyd. Er enghraifft, holiadur wedi'i ddifrodi gan ddamwain.
2. MAR (Ar Goll Ar Hap): mae'r tebygolrwydd o ddata ar goll yn dibynnu ar y newidyn a welwyd, ond nid yw'n dibynnu ar y gwerth coll ei hun ar ôl rheoli ar gyfer newidynnau eraill. Er enghraifft, mae ymatebwyr ifanc yn fwy tebygol o fethu cwestiynau incwm, ond mae oedran ar gael.
3. MNAR (Ar Goll Heb fod Ar Hap): Mae'r tebygolrwydd o ddata ar goll yn dibynnu ar y gwerth coll ei hun. Er enghraifft, mae pobl ag incwm uchel iawn yn tueddu i beidio â datgelu eu hincwm.
Mae imputiad yn gyffredinol yn fwy diogel o dan MCAR/MAR. Yn aml mae angen model sy'n ystyried data coll neu ddadansoddiad sensitifrwydd yn benodol ar gyfer MNAR.
Dull Cyfrifiadu Syml
1. Imputiad Cymedrig/Canolrif/Modd
Y dull symlaf yw disodli gwerthoedd coll gyda'r cymedr neu'r canolrif ar gyfer newidynnau rhifiadol, a'r modd ar gyfer newidynnau categoraidd. Y manteision yw: mae'n hawdd, yn gyflym, ac yn aml yn gwasanaethu fel llinell sylfaen. Yr anfanteision yw: gall leihau amrywiant ac ystumio dosbarthiad y data, yn enwedig os yw'r data yn anghymesur neu'n cynnwys allanolion. Yn gyffredinol, mae'r canolrif yn fwy cadarn i allanolion na'r cymedr.
2. Cyfrifoldeb Cyson
Mae gwerthoedd coll yn cael eu llenwi â chysonyn penodol, fel 0, -1, neu'r label "Anhysbys". Mae hyn yn ddefnyddiol pan fydd gan y gwerth ystyr penodol (e.e., "dim trafodiad"), neu pan fydd angen rhoi dangosydd ychwanegol i'r model i amlygu diffygion. Fodd bynnag, gall dewis cysonyn mympwyol gyflwyno patrymau ffug.
3. Imputiad Dec Poeth
Mewn dec poeth, mae gwerthoedd coll yn cael eu llenwi gan ddefnyddio gwerthoedd o arsylwadau eraill, “tebyg” (rhoddwyr) yn seiliedig ar sawl newidyn allweddol. Mae'r dull hwn yn boblogaidd mewn arolygon. Mae deciau poeth yn cynnal gwerthoedd realistig oherwydd eu bod yn cipio gwerthoedd gwirioneddol y data, ond mae'r canlyniadau'n sensitif i'r diffiniad o “debygrwydd” a gallant gynhyrchu amrywiad rhyng-sampl.
Dull Cyfrifoldeb yn Seiliedig ar Fodel
4. Imputiad Atchweliad
Rhagfynegir gwerthoedd coll gan ddefnyddio model atchweliad sy'n deillio o newidynnau eraill. Ar gyfer newidynnau rhifiadol, gellir defnyddio atchweliad llinol; ar gyfer newidynnau categoraidd, gellir defnyddio atchweliad logistaidd neu aml-nomial. Y fantais yw ei fod yn manteisio ar y berthnasoedd rhwng newidynnau. Yr anfantais yw bod defnyddio gwerthoedd rhagfynegedig penderfynol yn unig yn tueddu i leihau amrywiant oherwydd bod yr holl werthoedd a briodolir yn disgyn yn union ar y llinell ragfynegi. I fynd i'r afael â hyn, mae cydrannau ar hap (e.e., gweddillion) yn aml yn cael eu hychwanegu er mwyn mwy o realaeth.
5. Imputiad k-Cymdogion Agosaf (kNN)
Mae'r dull kNN yn llenwi gwerthoedd coll yn seiliedig ar gyfartaledd (neu bleidlais) y k gymdogion agosaf. Fel arfer, mesurir agosrwydd gan bellter Ewclidaidd neu fetrig arall ar ôl i'r data gael ei normaleiddio. Mae ei fanteision yn cynnwys hyblygrwydd a'r dybiaeth nad oes perthynas linellol. Mae anfanteision yn cynnwys cost gyfrifiadurol ar gyfer setiau data mawr, sensitifrwydd i raddfa amrywiol, a dirywiad perfformiad ar ddata dimensiwn uchel (melltith dimensiwn).
6. Uchafswm Disgwyliadau (UU)
Mae'r dull EM yn amcangyfrif paramedrau'r model (e.e., cymedr a chydamrywiad ar gyfer data arferol aml-amrywiad) trwy drin gwerthoedd coll fel newidynnau cudd. Mae Cam E yn cyfrifo disgwyliad gwerthoedd coll yn ailadroddus yn seiliedig ar y paramedrau cyfredol, ac yna mae cam M yn diweddaru'r paramedrau yn seiliedig ar y data "cyflawn" disgwyliedig. Mae EM yn gadarn i rai rhagdybiaethau dosraniadol, ond gall fod yn gymhleth ac mae'n dibynnu ar gywirdeb rhagdybiaethau'r model.
Imputiad Lluosog: Y Safon Aur mewn Llawer o Achosion
7. Imputiad Lluosog (MI)
Ystyrir bod Imputiad Lluosog yn un o'r dulliau mwyaf egwyddorol ar gyfer MAR. Yn lle cynhyrchu un set ddata gyflawn, mae MI yn cynhyrchu setiau data lluosog (e.e., 5–20) gyda gwahanol imputiadau sy'n adlewyrchu ansicrwydd. Dadansoddir pob set ddata ar wahân, yna cyfunir y canlyniadau gan ddefnyddio rheolau Rubin i gael amcangyfrifon mwy dilys a gwallau safonol.
Manteision MI:
– Yn darparu ar gyfer ansicrwydd ynghylch priodoli.
– Yn fwy cywir ar gyfer casgliadau ystadegol (cyfyngau hyder, profi damcaniaethau).
– Hyblyg ar gyfer gwahanol fathau o newidynnau.
Ei gyfyngiadau:
– Gweithrediad mwy cymhleth.
– Mae angen rhagdybiaethau digonol a manylebau modelau dyfynnu.
– Os oes diffyg yn yr MNAR, gall y MI safonol fod yn rhagfarnllyd o hyd.
Imputiad ar gyfer Cyfres Amser a Data Gofodol
Mewn data cyfres amser, mae gwerthoedd coll yn aml yn gysylltiedig yn gryf â'u gwerthoedd blaenorol a dilynol. Defnyddir dulliau fel rhyngosod llinol, splines, hidlwyr Kalman, neu fodelau ARIMA/Gofod Cyflwr yn aml. Ar gyfer data gofodol, gall dulliau fel kriging a modelau gofodol fanteisio ar agosrwydd daearyddol. Mae'r dulliau hyn yn effeithiol pan fo strwythur amserol/gofodol yn drech, ond rhaid bod yn ofalus yn erbyn newidiadau sydyn (e.e., siociau economaidd) a all wneud rhyngosod syml yn gamarweiniol.
Arferion Da wrth Ddewis Dulliau Cyfrifoldeb
1. Cynnal archwiliad data coll: gwiriwch ganran y gwerthoedd coll, patrwm y diffyg data, ac a yw'r diffyg data yn gysylltiedig â newidyn penodol.
2. Gwahanu data hyfforddi a phrofi: cyflawni imputiad trwy "ddysgu" o ddata hyfforddi yn unig, yna ei gymhwyso i ddata profi i osgoi gollyngiadau data.
3. Ystyriwch y math o newidyn: rhifol, categoraidd, trefnol, neu gymysg; mae'r dull priodol yn wahanol.
4. Defnyddiwch ddangosyddion diffyg: weithiau mae'r wybodaeth bod gwerth ar goll yn rhagfynegol ynddo'i hun; gall ychwanegu newidynnau dangosydd wella perfformiad model rhagfynegol.
5. Gwerthuswch effaith y cyfrifiad: cymharwch y dosraniadau cyn/ar ôl y cyfrifiad, gwiriwch a yw'r amrywiant wedi lleihau, a dilyswch y model.
6. Blaenoriaethu MI ar gyfer casgliad: pan mai nod y dadansoddiad yw amcangyfrif paramedr a phrofi ystadegol, mae imputiad lluosog yn aml yn fwy priodol nag imputiad sengl.
Casgliad
Mae imputiad yn elfen hanfodol o lif gwaith ystadegol modern ar gyfer trin data coll. Gall dulliau syml fel cymedr/canolrif fod yn ddefnyddiol fel llinell sylfaen neu ar gyfer colliannau bach, ond yn aml maent yn peryglu strwythur data ac ansicrwydd. Mae dulliau sy'n seiliedig ar fodelau fel atchweliad, kNN, ac EM yn manteisio ar berthnasoedd rhwng newidynnau, tra bod Imputiad Lluosog yn darparu fframwaith cadarn ar gyfer casgliad trwy ystyried ansicrwydd. Mae dewis y dull gorau yn dibynnu ar y mecanwaith data coll (MCAR/MAR/MNAR), amcan y dadansoddiad (rhagfynegiad yn erbyn casgliad), a nodweddion y data (cyfres amser, gofodol, cymysg). Gyda'r dull cywir, mae imputiad yn helpu i gynnal uniondeb y dadansoddiad ac yn cynhyrchu casgliadau mwy dibynadwy.
