Imputatiemethoden in de statistiek
In de statistiek en data-analyse komt het probleem van ontbrekende gegevens vrijwel altijd voor. Gegevens kunnen ontbreken doordat respondenten bepaalde vragen niet beantwoorden, door registratiefouten, storingen in sensoren, beschadigde gegevens tijdens de extractie, of door het combineren van meerdere gegevensbronnen die niet volledig overeenkomen. Als ontbrekende gegevens niet correct worden behandeld, kunnen ze de kwaliteit van de analyse verminderen, de power van de test verlagen en zelfs leiden tot vertekende conclusies. Een van de meest gebruikte methoden om met ontbrekende gegevens om te gaan, is imputatie. Hierbij worden ontbrekende waarden ingevuld met geschatte waarden op basis van de beschikbare informatie.
Waarom is imputatie belangrijk?
Er zijn verschillende redenen waarom imputatie vaak de voorkeur krijgt boven het simpelweg verwijderen van ontbrekende gegevens. Ten eerste kan het verwijderen van rijen/waarnemingen met ontbrekende waarden (bijvoorbeeld door lijstgewijze verwijdering) de steekproefomvang drastisch verkleinen, vooral wanneer het percentage ontbrekende gegevens significant is. Ten tweede kan verwijdering vertekening introduceren als de gegevens niet willekeurig ontbreken. Ten derde vereisen veel statistische of machine learning-algoritmen complete gegevens, waardoor imputatie een handige voorverwerkingsstap is.
Imputatie is echter meer dan alleen het invullen van ontbrekende gegevens. De gekozen methode moet rekening houden met het mechanisme van de ontbrekende gegevens, de structuur van de variabelen en de doelstellingen van de analyse. Slechte imputatie kan het model misleiden, de variantie verlagen en de resultaten betrouwbaarder doen lijken dan ze in werkelijkheid zijn.
Mechanisme voor verloren gegevens
In de statistische literatuur wordt ontbrekende data doorgaans ingedeeld in drie hoofdcategorieën:
1. MCAR (Missing Completely At Random): de kans op ontbrekende gegevens is onafhankelijk van alle variabelen, zowel waargenomen als niet-waargenomen. Bijvoorbeeld een vragenlijst die beschadigd is geraakt door een ongeluk.
2. MAR (Missing At Random): de kans op ontbrekende gegevens hangt af van de waargenomen variabele, maar niet van de ontbrekende waarde zelf na correctie voor andere variabelen. Jonge respondenten hebben bijvoorbeeld een grotere kans om vragen over hun inkomen te missen, terwijl hun leeftijd wel bekend is.
3. MNAR (Missing Not At Random): De kans op ontbrekende gegevens hangt af van de ontbrekende waarde zelf. Mensen met een zeer hoog inkomen hebben bijvoorbeeld de neiging hun inkomen niet te onthullen.
Imputatie is over het algemeen veiliger onder MCAR/MAR. MNAR vereist vaak een model dat expliciet rekening houdt met ontbrekende gegevens of een gevoeligheidsanalyse.
Eenvoudige imputatiemethode
1. Imputatie van gemiddelde/mediaan/modus
De eenvoudigste methode is om ontbrekende waarden te vervangen door het gemiddelde of de mediaan voor numerieke variabelen, en de modus voor categorische variabelen. De voordelen zijn: het is gemakkelijk, snel en dient vaak als referentiepunt. De nadelen zijn: het kan de variantie verlagen en de gegevensverdeling vertekenen, vooral als de gegevens asymmetrisch zijn of uitschieters bevatten. De mediaan is over het algemeen robuuster tegen uitschieters dan het gemiddelde.
2. Constante imputatie
Ontbrekende waarden worden ingevuld met een specifieke constante, zoals 0, -1 of het label 'Onbekend'. Dit is handig wanneer de waarde een specifieke betekenis heeft (bijvoorbeeld 'geen transactie'), of wanneer het model een extra indicator nodig heeft om ontbrekende waarden te markeren. Het kiezen van een willekeurige constante kan echter valse patronen introduceren.
3. Imputatie van het Hot Deck
Bij een hot deck worden ontbrekende waarden aangevuld met waarden uit andere, "vergelijkbare" observaties (donoren) op basis van een aantal sleutelvariabelen. Deze methode is populair bij enquêtes. Hot decks behouden realistische waarden omdat ze de werkelijke waarden van de data vastleggen, maar de resultaten zijn gevoelig voor de definitie van "vergelijkbaarheid" en kunnen variatie tussen steekproeven veroorzaken.
Modelgebaseerde imputatiemethode
4. Regressie-imputatie
Ontbrekende waarden worden voorspeld met behulp van een regressiemodel dat is afgeleid van andere variabelen. Voor numerieke variabelen kan lineaire regressie worden gebruikt; voor categorische variabelen kan logistische of multinominale regressie worden toegepast. Het voordeel hiervan is dat de relaties tussen variabelen worden benut. Het nadeel is dat het gebruik van uitsluitend deterministische voorspelde waarden de variantie vaak reduceert, omdat alle geïmputeerde waarden precies op de voorspellingslijn vallen. Om dit te ondervangen, worden vaak willekeurige componenten (bijvoorbeeld residuen) toegevoegd voor een realistischer resultaat.
5. Imputatie met de k-Nearest Neighbors (kNN)-methode
De kNN-methode vult ontbrekende waarden aan op basis van het gemiddelde (of stemmen) van de k dichtstbijzijnde buren. De nabijheid wordt doorgaans gemeten met de Euclidische afstand of een andere metriek nadat de gegevens zijn genormaliseerd. De voordelen zijn onder andere de flexibiliteit en de aanname van geen lineair verband. Nadelen zijn de hoge rekenkosten voor grote datasets, de gevoeligheid voor de schaal van variabelen en de prestatievermindering bij hoogdimensionale data (de vloek van de dimensionaliteit).
6. Verwachtingsmaximalisatie (EM)
De EM-methode schat modelparameters (bijvoorbeeld gemiddelde en covariantie voor multivariate normale data) door ontbrekende waarden als latente variabelen te behandelen. Stap E berekent iteratief de verwachte waarde van de ontbrekende waarden op basis van de huidige parameters, waarna stap M de parameters bijwerkt op basis van de verwachte "complete" data. EM is robuust ten opzichte van bepaalde aannames over de verdeling, maar kan complex zijn en is afhankelijk van de juistheid van de modelaannames.
Meervoudige imputatie: in veel gevallen de gouden standaard
7. Meervoudige imputatie (MI)
Meervoudige imputatie wordt beschouwd als een van de meest principiële benaderingen voor MAR (Missing At Random). In plaats van één complete dataset te genereren, genereert MI meerdere datasets (bijvoorbeeld 5-20) met verschillende imputaties die de onzekerheid weerspiegelen. Elke dataset wordt afzonderlijk geanalyseerd, waarna de resultaten worden gecombineerd met behulp van de regels van Rubin om meer valide schattingen en standaardfouten te verkrijgen.
MI-voordelen:
– Biedt een oplossing voor de onzekerheid bij imputatie.
– Nauwkeuriger voor statistische inferentie (betrouwbaarheidsintervallen, hypothesetoetsing).
– Flexibel voor diverse soorten variabelen.
De beperkingen ervan:
– Complexere implementatie.
– Vereist adequate aannames en specificaties voor het imputatiemodel.
– Als er ontbrekende gegevens zijn in MNAR, kan de standaard MI nog steeds vertekend zijn.
Imputatie voor tijdreeks- en ruimtelijke gegevens
In tijdreeksdata zijn ontbrekende waarden vaak sterk gecorreleerd met hun voorgaande en volgende waarden. Methoden zoals lineaire interpolatie, splines, Kalman-filters of ARIMA/toestandsruimtemodellen worden vaak gebruikt. Voor ruimtelijke data kunnen benaderingen zoals kriging en ruimtelijke modellen gebruikmaken van geografische nabijheid. Deze methoden zijn effectief wanneer de temporele/ruimtelijke structuur dominant is, maar men moet voorzichtig zijn met plotselinge veranderingen (bijvoorbeeld economische schokken) die eenvoudige interpolatie misleidend kunnen maken.
Goede praktijken bij het selecteren van imputatiemethoden
1. Voer een onderzoek uit naar ontbrekende gegevens: controleer het percentage ontbrekende waarden, het patroon van de ontbrekende waarden en of de ontbrekende waarden verband houden met een specifieke variabele.
2. Scheid trainings- en testgegevens: voer imputatie uit door alleen te "leren" van de trainingsgegevens en pas dit vervolgens toe op de testgegevens om datalekken te voorkomen.
3. Houd rekening met het type variabele: numeriek, categorisch, ordinaal of gemengd; de geschikte methode verschilt.
4. Gebruik indicatoren voor ontbrekende waarden: soms is de informatie dat een waarde ontbreekt op zichzelf al voorspellend; het toevoegen van indicatorvariabelen kan de prestaties van een voorspellend model verbeteren.
5. Evalueer de impact van imputatie: vergelijk de verdelingen vóór en na imputatie, controleer of de variantie is afgenomen en valideer het model.
6. Geef prioriteit aan MI voor inferentie: wanneer het doel van de analyse parameterestimatie en statistische toetsing is, is meervoudige imputatie vaak geschikter dan enkelvoudige imputatie.
conclusie
Imputatie is een cruciaal onderdeel van moderne statistische workflows voor het omgaan met ontbrekende gegevens. Eenvoudige methoden zoals het gemiddelde/de mediaan kunnen nuttig zijn als basislijn of voor kleine hoeveelheden ontbrekende gegevens, maar brengen vaak de datastructuur en onzekerheid in gevaar. Modelgebaseerde methoden zoals regressie, kNN en EM benutten relaties tussen variabelen, terwijl meervoudige imputatie een robuust kader biedt voor inferentie door rekening te houden met onzekerheid. De keuze voor de beste methode hangt af van het mechanisme van de ontbrekende gegevens (MCAR/MAR/MNAR), het analysedoel (voorspelling versus inferentie) en de kenmerken van de gegevens (tijdreeks, ruimtelijk, gemengd). Met de juiste aanpak helpt imputatie de integriteit van de analyse te behouden en leidt het tot betrouwbaardere conclusies.
