Mètodes d'imputació en estadística
En la pràctica de l'estadística i l'anàlisi de dades, gairebé sempre sorgeix el problema de les dades que falten. Les dades poden faltar a causa que els enquestats no responen a certes preguntes, errors de registre, interferències del sensor, dades corruptes durant l'extracció o a causa del procés de combinació de múltiples fonts de dades que no coincideixen completament. Si no es gestionen correctament, les dades que falten poden degradar la qualitat de l'anàlisi, reduir la potència de la prova i fins i tot conduir a conclusions esbiaixades. Un dels enfocaments més comuns per gestionar les dades que falten és la imputació, que consisteix a omplir els valors que falten amb valors estimats basats en la informació disponible.
Per què és important la imputació?
Hi ha diverses raons per les quals sovint es tria la imputació en lloc de simplement suprimir les dades que falten. En primer lloc, suprimir files/observacions que contenen valors que falten (per exemple, suprimir per llista) pot reduir dràsticament la mida de la mostra, especialment quan el percentatge de dades que falten és significatiu. En segon lloc, si les dades no falten a l'atzar, la supressió pot introduir biaix. En tercer lloc, molts algoritmes estadístics o d'aprenentatge automàtic requereixen dades completes, cosa que fa que la imputació sigui un pas de preprocessament convenient.
Tanmateix, la imputació no consisteix simplement en "omplir els buits". El mètode escollit ha de tenir en compte el mecanisme de les dades que falten, l'estructura de les variables i els objectius de l'anàlisi. Una imputació deficient pot "enganyar" el model, reduir la variància i fer que els resultats semblin més certs del que realment són.
Mecanisme de pèrdua de dades
En la literatura estadística, les dades perdudes se solen classificar en tres mecanismes principals:
1. MCAR (Missing Completely At Random, és a dir, dades perdudes completament aleatòries): la probabilitat que faltin dades és independent de qualsevol variable, observada o no observada. Per exemple, un qüestionari malmès per un accident.
2. MAR (Missing At Random, o valors perduts a l'atzar): la probabilitat de dades perdudes depèn de la variable observada, però no depèn del valor perdut en si mateix després de controlar altres variables. Per exemple, els enquestats joves tenen més probabilitats de passar per alt les preguntes sobre ingressos, però l'edat està disponible.
3. MNAR (Missing Not At Random, dades que falten): La probabilitat que faltin dades depèn del valor que falta en si. Per exemple, les persones amb ingressos molt alts tendeixen a no revelar els seus ingressos.
La imputació és generalment més segura amb MCAR/MAR. MNAR sovint requereix un model que tingui en compte explícitament les dades que falten o una anàlisi de sensibilitat.
Mètode d'imputació simple
1. Imputació de mitjana/mediana/moda
El mètode més senzill és substituir els valors que falten per la mitjana o mediana per a variables numèriques i la moda per a variables categòriques. Els avantatges són: és fàcil, ràpid i sovint serveix com a línia de base. Els desavantatges són: pot reduir la variància i distorsionar la distribució de dades, especialment si les dades són asimètriques o contenen valors atípics. La mediana generalment és més robusta als valors atípics que la mitjana.
2. Imputació constant
Els valors que falten s'omplen amb una constant específica, com ara 0, -1 o l'etiqueta "Desconegut". Això és útil quan el valor té un significat específic (per exemple, "cap transacció") o quan cal donar al model un indicador addicional per ressaltar la mancança. Tanmateix, triar una constant arbitrària pot introduir patrons falsos.
3. Imputació de la plataforma calenta
En una plataforma calenta (hot deck), els valors que falten s'omplen utilitzant valors d'altres observacions "similars" (donants) basades en diverses variables clau. Aquest mètode és popular en enquestes. Les plataformes calentes mantenen valors realistes perquè capturen els valors reals de les dades, però els resultats són sensibles a la definició de "similitud" i poden produir variació entre mostres.
Mètode d'imputació basat en models
4. Imputació de regressió
Els valors perduts es prediuen mitjançant un model de regressió derivat d'altres variables. Per a variables numèriques, es pot utilitzar la regressió lineal; per a variables categòriques, es pot utilitzar la regressió logística o multinomial. L'avantatge és que explota les relacions entre variables. El desavantatge és que utilitzar només valors predits deterministes tendeix a reduir la variància perquè tots els valors imputats cauen exactament sobre la línia de predicció. Per solucionar-ho, sovint s'afegeixen components aleatoris (per exemple, residuals) per a un major realisme.
5. Imputació dels k-veïns més propers (kNN)
El mètode kNN omple els valors que falten basant-se en la mitjana (o votació) dels k veïns més propers. La proximitat es mesura normalment mitjançant la distància euclidiana o una altra mètrica després que les dades s'hagin normalitzat. Els seus avantatges inclouen la flexibilitat i la suposició que no hi ha cap relació lineal. Els desavantatges inclouen el cost computacional per a conjunts de dades grans, la sensibilitat a l'escala variable i la degradació del rendiment en dades d'alta dimensionalitat (la maledicció de la dimensionalitat).
6. Maximització de l'expectativa (ME)
L'enfocament EM estima els paràmetres del model (per exemple, la mitjana i la covariància per a dades normals multivariants) tractant els valors perduts com a variables latents. El pas E calcula iterativament l'expectativa dels valors perduts en funció dels paràmetres actuals i, a continuació, el pas M actualitza els paràmetres en funció de les dades "completes" esperades. L'EM és robust a certes suposicions distribucionals, però pot ser complex i depèn de la correcció de les suposicions del model.
Imputació múltiple: el patró d'or en molts casos
7. Imputació múltiple (IM)
La imputació múltiple es considera un dels enfocaments més basats en principis per a la MAR. En lloc de generar un únic conjunt de dades complet, la MI genera múltiples conjunts de dades (per exemple, 5-20) amb diferents imputacions que reflecteixen la incertesa. Cada conjunt de dades s'analitza per separat i, a continuació, els resultats es combinen mitjançant les regles de Rubin per obtenir estimacions i errors estàndard més vàlids.
Avantatges de la MI:
– S'adapta a la incertesa d'imputació.
– Més precisió per a la inferència estadística (intervals de confiança, proves d'hipòtesis).
– Flexible per a diversos tipus de variables.
Les seves limitacions:
– Implementació més complexa.
– Requereix supòsits i especificacions del model d'imputació adequades.
– Si hi ha mancances a MNAR, l'MI estàndard encara pot estar esbiaixat.
Imputació per a sèries temporals i dades espacials
En les dades de sèries temporals, els valors perduts sovint estan fortament correlacionats amb els seus valors precedents i posteriors. Sovint s'utilitzen mètodes com la interpolació lineal, els splines, els filtres de Kalman o els models ARIMA/State Space. Per a les dades espacials, enfocaments com el kriging i els models espacials poden explotar la proximitat geogràfica. Aquests mètodes són efectius quan l'estructura temporal/espacial és dominant, però cal anar amb compte amb els canvis sobtats (per exemple, xocs econòmics) que poden fer que la interpolació simple sigui enganyosa.
Bones pràctiques en la selecció de mètodes d'imputació
1. Realitzar una exploració de les dades que falten: comprovar el percentatge de valors que falten, el patró de dades que falten i si aquestes dades estan relacionades amb una variable en particular.
2. Separar les dades d'entrenament i de prova: realitzar la imputació mitjançant "aprenentatge" només a partir de les dades d'entrenament i després aplicar-la a les dades de prova per evitar fuites de dades.
3. Considereu el tipus de variable: numèrica, categòrica, ordinal o mixta; el mètode adequat és diferent.
4. Utilitzeu indicadors de mancança: de vegades, la informació que falta un valor és en si mateixa predictiva; afegir variables indicadores pot millorar el rendiment d'un model predictiu.
5. Avaluar l'impacte de la imputació: comparar les distribucions abans/després de la imputació, comprovar si la variància ha disminuït i validar el model.
6. Prioritzar la imputació múltiple per a la inferència: quan l'objectiu de l'anàlisi és l'estimació de paràmetres i les proves estadístiques, la imputació múltiple sovint és més adequada que la imputació única.
Conclusió
La imputació és un component crucial dels fluxos de treball estadístics moderns per gestionar les dades que falten. Mètodes simples com la mitjana/mediana poden ser útils com a línia de base o per a petites mancances, però sovint comprometen l'estructura de les dades i la incertesa. Els mètodes basats en models com la regressió, la kNN i la EM exploten les relacions entre variables, mentre que la imputació múltiple proporciona un marc robust per a la inferència tenint en compte la incertesa. L'elecció del millor mètode depèn del mecanisme de dades que falten (MCAR/MAR/MNAR), l'objectiu de l'anàlisi (predicció vs. inferència) i les característiques de les dades (sèries temporals, espacials, mixtes). Amb l'enfocament correcte, la imputació ajuda a mantenir la integritat de l'anàlisi i produeix conclusions més fiables.
