Estatistikako Inputazio Metodoak
Estatistikaren eta datuen analisiaren praktikan, datu faltaren arazoa ia beti sortzen da. Datuak falta izan daitezke erantzuleek galdera batzuei erantzuten ez dietelako, grabazio-erroreengatik, sentsoreen interferentziagatik, erauzketan zehar datu hondatuengatik edo guztiz bat ez datozen hainbat datu-iturri konbinatzeko prozesuagatik. Behar bezala kudeatzen ez badira, datu faltak analisiaren kalitatea hondatu, probaren potentzia murriztu eta ondorio okerrak ere sor ditzakete. Datu faltak kudeatzeko modurik ohikoenetako bat inputazioa da, eta horrek balio faltak eskuragarri dagoen informazioan oinarritutako balio estimatuekin betetzea dakar.
Zergatik da garrantzitsua inputazioa?
Hainbat arrazoi daude falta diren datuak ezabatzearen ordez, askotan inputazioa aukeratzeko. Lehenik eta behin, falta diren balioak dituzten errenkadak/behaketak ezabatzeak (adibidez, zerrendaka ezabatzeak) laginaren tamaina nabarmen murriztu dezake, batez ere falta diren datuen ehunekoa esanguratsua denean. Bigarrenik, datuak ausaz falta ez badira, ezabatzeak alborapena ekar dezake. Hirugarrenik, algoritmo estatistiko edo makina-ikaskuntza askok datu osoak behar dituzte, inputazioa aurreprozesatzeko urrats erosoa bihurtuz.
Hala ere, egoztea ez da soilik "hutsuneak betetzea". Aukeratutako metodoak kontuan hartu behar ditu falta diren datuen mekanismoa, aldagaien egitura eta analisiaren helburuak. Egozketa txarrak eredua "engainatu", bariantza murriztu eta emaitzak benetan direna baino ziurragoak agerrarazi ditzake.
Datuen galera mekanismoa
Literatura estatistikoan, datu faltak hiru mekanismo nagusitan sailkatzen dira normalean:
1. MCAR (Missing Completely At Random, Ausazko Guztiz Falta Da): datuak galtzeko probabilitatea ez da behatutako edo behatu gabeko aldagaiekiko independentea. Adibidez, istripu batek kaltetutako galdetegi bat.
2. MAR (Ausazko Datuak Falta): datuak falta izateko probabilitatea behatutako aldagaiaren araberakoa da, baina ez da beste aldagaiak kontrolatu ondoren falta den balioaren beraren araberakoa. Adibidez, erantzule gazteek diru-sarrerei buruzko galderak galtzeko aukera gehiago dute, baina adina eskuragarri dago.
3. MNAR (Missing Not At Random, Ausazko Datuak Falta Dira): Datuak galtzeko probabilitatea falta den balioaren beraren araberakoa da. Adibidez, diru-sarrera oso altuak dituzten pertsonek ez dituzte beren diru-sarrerak ezagutarazten.
Oro har, MCAR/MAR metodoaren arabera, egoztea seguruagoa da. MNAR metodoak askotan datu faltak esplizituki kontuan hartzen dituen eredu bat edo sentikortasun-analisi bat eskatzen du.
Inputazio metodo sinplea
1. Batez besteko/mediana/modaren esleipena
Metodorik errazena balio faltak batez bestekoarekin edo medianarekin ordezkatzea da aldagai numerikoetarako, eta modarekin aldagai kategorikoetarako. Abantailak hauek dira: erraza, azkarra da eta askotan oinarri gisa balio du. Desabantailak hauek dira: bariantza murriztu eta datuen banaketa desitxuratu dezake, batez ere datuak asimetrikoak badira edo muturreko balioak badituzte. Mediana, oro har, muturreko balioen aurrean sendoagoa da batez bestekoa baino.
2. Egokitzapen konstantea
Falta diren balioak konstante espezifiko batekin betetzen dira, hala nola 0, -1 edo "Ezezaguna" etiketarekin. Hau erabilgarria da balioak esanahi espezifikoa duenean (adibidez, "transakziorik ez"), edo ereduari falta den balioa nabarmentzeko adierazle gehigarri bat eman behar zaionean. Hala ere, konstante arbitrario bat aukeratzeak eredu faltsuak sor ditzake.
3. Hot Deck imputazioa
Hot deck batean, balio faltak beste "antzeko" behaketa batzuetako (emaileak) balioak erabiliz betetzen dira, hainbat aldagai gakotan oinarrituta. Metodo hau oso ezaguna da inkestetan. Hot deck-ek balio errealistak mantentzen dituzte, datuen benetako balioak jasotzen dituztelako, baina emaitzak "antzekotasunaren" definizioarekiko sentikorrak dira eta laginen arteko aldakuntzak sor ditzakete.
Ereduetan Oinarritutako Inputazio Metodoa
4. Erregresioaren Inputazioa
Balio faltak beste aldagai batzuetatik eratorritako erregresio-eredu bat erabiliz iragartzen dira. Aldagai numerikoetarako, erregresio lineala erabil daiteke; aldagai kategorikoetarako, erregresio logistikoa edo multinomiala erabil daiteke. Abantaila da aldagaien arteko harremanak ustiatzen dituela. Desabantaila da balio iragarle deterministak soilik erabiltzeak bariantza murrizten duela, egotzitako balio guztiak iragarpen-lerroan bertan erortzen baitira. Hori konpontzeko, ausazko osagaiak (adibidez, hondarrak) gehitzen dira askotan errealismo handiagoa lortzeko.
5. k-Auzokide hurbilenen (kNN) esleipena
kNN metodoak balio faltak betetzen ditu k bizilagun hurbilenen batez bestekoan (edo bozketan) oinarrituta. Hurbiltasuna normalean distantzia euklidearra edo beste metrika batekin neurtzen da, datuak normalizatu ondoren. Bere abantailen artean, malgutasuna eta erlazio linealik ez dagoela suposatzea daude. Desabantailen artean, datu-multzo handietarako konputazio-garestia, eskala aldakorrarekiko sentikortasuna eta dimentsio handiko datuetan errendimenduaren degradazioa daude (dimentsiotasunaren madarikazioa).
6. Itxaropen-Maximizazioa (EM)
EM ikuspegiak modeloaren parametroak kalkulatzen ditu (adibidez, batez bestekoa eta kobariantza datu normal multibariableetarako) balio faltak aldagai latente gisa tratatuz. E urratsak balio faltaren itxaropena kalkulatzen du iteratiboki uneko parametroetan oinarrituta, eta ondoren M urratsak parametroak eguneratzen ditu espero diren "datu osoetan" oinarrituta. EM banaketa-hipotesi batzuei sendoa da, baina konplexua izan daiteke eta modeloaren hipotesien zuzentasunaren araberakoa da.
Egokitzapen Anitza: Urrezko Estandarra Kasu Askotan
7. Inputazio Anizkoitza (MI)
Inputazio Anizkoitza MAR-erako hurbilketa printzipiotsuenetakotzat hartzen da. Datu-multzo oso bakarra sortu beharrean, MI-k datu-multzo anitz sortzen ditu (adibidez, 5-20), ziurgabetasuna islatzen duten inputazio desberdinekin. Datu-multzo bakoitza bereizita aztertzen da, eta ondoren emaitzak Rubin-en arauak erabiliz konbinatzen dira estimazio eta errore estandar baliodunagoak lortzeko.
MIren abantailak:
– Eskuzko ziurgabetasuna kontuan hartzen du.
– Zehatzagoa inferentzia estatistikoetarako (konfiantza-tarteak, hipotesi-probak).
– Aldagai mota desberdinetarako malgua.
Bere mugak:
– Inplementazio konplexuagoa.
– Suposizio eta inputazio-ereduaren zehaztapen egokiak behar ditu.
– MNAR-en faltarik badago, MI estandarra oraindik alboratua izan daiteke.
Denbora-serieetarako eta datu espazialetarako inputazioa
Denbora-serieko datuetan, balio faltak askotan korrelazio sendoa izaten dute aurreko eta ondorengo balioekin. Interpolazio lineala, splineak, Kalman iragazkiak edo ARIMA/State Space ereduak bezalako metodoak erabili ohi dira. Datu espazialei dagokienez, kriging eta eredu espazialak bezalako ikuspegiek hurbiltasun geografikoa ustia dezakete. Metodo hauek eraginkorrak dira denbora-/espazio-egitura nagusi denean, baina kontuz ibili behar da bat-bateko aldaketen aurrean (adibidez, kolpe ekonomikoak), interpolazio sinplea engainagarria bihur baitezakete.
Inputazio-metodoak hautatzeko praktika onak
1. Datu faltaren azterketa egin: balio faltaren ehunekoa, faltaren eredua eta falta aldagai jakin batekin lotuta dagoen egiaztatu.
2. Prestakuntza-datuak eta proba-datuak bereizi: egin inputazioa prestakuntza-datuetatik soilik “ikasiz”, eta gero aplikatu proba-datuei datu-ihesak saihesteko.
3. Aldagai mota kontuan hartu: zenbakizkoa, kategorikoa, ordinala edo mistoa; metodo egokia desberdina da.
4. Erabili falta diren adierazleak: batzuetan balio bat falta dela dioen informazioa bera aurreikusgarria da; adierazle aldagaiak gehitzeak aurreikuspen eredu baten errendimendua hobetu dezake.
5. Ebaluatu egozpenaren eragina: alderatu banaketak egozpenaren aurretik/ondoren, egiaztatu bariantza gutxitu den eta balioztatu eredua.
6. Lehentasuna eman EMri inferentziarako: analisiaren helburua parametroen estimazioa eta proba estatistikoak direnean, askotan egokiagoa da egozpen anizkoitza egozpen bakarra baino.
Ondorioa
Datu faltak kudeatzeko, ezinbesteko osagaia da egoztea estatistika-fluxu modernoetan. Batez besteko/mediana bezalako metodo sinpleak baliagarriak izan daitezke oinarri gisa edo falta txikietarako, baina askotan datuen egitura eta ziurgabetasuna arriskuan jartzen dituzte. Erregresioa, kNN eta EM bezalako ereduetan oinarritutako metodoek aldagaien arteko harremanak ustiatzen dituzte, eta egozpen anizkoitzak, berriz, ziurgabetasuna kontuan hartuta, ondorioetarako esparru sendoa eskaintzen du. Metodo onenaren aukera datu faltak dauden mekanismoaren (MCAR/MAR/MNAR), analisi-helburuaren (aurreikuspena vs. inferentzia) eta datuen ezaugarrien (denbora-serieak, espazialak, mistoak) araberakoa da. Ikuspegi egokiarekin, egozteak analisiaren osotasuna mantentzen laguntzen du eta ondorio fidagarriagoak ematen ditu.
