Méthodes d'imputation en statistique
En statistique et en analyse de données, le problème des données manquantes est quasi systématique. Ces données peuvent être manquantes parce que les répondants n'ont pas répondu à certaines questions, en raison d'erreurs d'enregistrement, d'interférences de capteurs, de données corrompues lors de l'extraction, ou encore à cause du processus de combinaison de plusieurs sources de données qui ne concordent pas parfaitement. Mal gérées, les données manquantes peuvent dégrader la qualité de l'analyse, réduire la puissance des tests et même conduire à des conclusions biaisées. L'une des méthodes les plus courantes pour traiter les données manquantes est l'imputation, qui consiste à remplacer les valeurs manquantes par des valeurs estimées à partir des informations disponibles.
Pourquoi l'imputation est-elle importante ?
L'imputation est souvent privilégiée à la simple suppression des données manquantes pour plusieurs raisons. Premièrement, la suppression des lignes/observations contenant des valeurs manquantes (par exemple, la suppression par liste) peut réduire considérablement la taille de l'échantillon, surtout lorsque le pourcentage de données manquantes est important. Deuxièmement, si les données ne sont pas manquantes de manière aléatoire, leur suppression peut introduire un biais. Troisièmement, de nombreux algorithmes statistiques ou d'apprentissage automatique nécessitent des données complètes, ce qui fait de l'imputation une étape de prétraitement pratique.
Cependant, l'imputation ne consiste pas simplement à « combler les lacunes ». La méthode choisie doit tenir compte du mécanisme de traitement des données manquantes, de la structure des variables et des objectifs de l'analyse. Une imputation de mauvaise qualité peut fausser le modèle, réduire la variance et donner aux résultats une apparence de certitude qu'ils n'ont pas.
Mécanisme de récupération des données perdues
Dans la littérature statistique, les données manquantes sont généralement classées en trois mécanismes principaux :
1. MCAR (Données manquantes complètement au hasard) : la probabilité de données manquantes est indépendante de toute variable, observée ou non. Par exemple, un questionnaire endommagé par un accident.
2. MAR (Données manquantes aléatoires) : la probabilité de données manquantes dépend de la variable observée, mais pas de la valeur manquante elle-même après prise en compte d’autres variables. Par exemple, les jeunes répondants sont plus susceptibles de ne pas répondre aux questions sur le revenu, alors que l’âge est une donnée disponible.
3. MNAR (Données manquantes non aléatoires) : La probabilité de données manquantes dépend de la valeur manquante elle-même. Par exemple, les personnes ayant des revenus très élevés ont tendance à ne pas déclarer leurs revenus.
L'imputation est généralement plus sûre dans le cas de données manquantes non exploitables (MCAR/MAR). Les données manquantes non exploitables (MNAR) nécessitent souvent un modèle qui prend explicitement en compte les données manquantes ou une analyse de sensibilité.
Méthode d'imputation simple
1. Imputation par la moyenne/médiane/mode
La méthode la plus simple consiste à remplacer les valeurs manquantes par la moyenne ou la médiane pour les variables numériques, et par le mode pour les variables catégorielles. Ses avantages : simplicité, rapidité et utilité fréquente comme référence. Ses inconvénients : risque de réduction de la variance et de distorsion de la distribution des données, notamment en cas d’asymétrie ou de valeurs aberrantes. La médiane est généralement plus robuste aux valeurs aberrantes que la moyenne.
2. Imputation constante
Les valeurs manquantes sont remplacées par une constante spécifique, telle que 0, -1 ou l'étiquette « Inconnu ». Ceci est utile lorsque la valeur a une signification particulière (par exemple, « aucune transaction ») ou lorsqu'il est nécessaire d'ajouter un indicateur pour signaler les données manquantes. Cependant, le choix d'une constante arbitraire peut engendrer des comportements parasites.
3. Imputation par hot deck
Dans un échantillon aléatoire à valeurs manquantes (hot deck), les valeurs manquantes sont remplacées par celles d'observations (donateurs) « similaires » en fonction de plusieurs variables clés. Cette méthode est courante dans les enquêtes. Les échantillons aléatoires à valeurs manquantes conservent des valeurs réalistes car ils reflètent les valeurs réelles des données, mais les résultats sont sensibles à la définition de « similarité » et peuvent engendrer des variations entre les échantillons.
Méthode d'imputation basée sur un modèle
4. Imputation par régression
Les valeurs manquantes sont prédites à l'aide d'un modèle de régression dérivé d'autres variables. Pour les variables numériques, on utilise la régression linéaire ; pour les variables catégorielles, on utilise la régression logistique ou multinomiale. L'avantage est qu'elle exploite les relations entre les variables. L'inconvénient est que l'utilisation exclusive de valeurs prédites déterministes tend à réduire la variance, car toutes les valeurs imputées se situent exactement sur la droite de prédiction. Pour pallier ce problème, des composantes aléatoires (par exemple, des résidus) sont souvent ajoutées afin d'obtenir un modèle plus réaliste.
5. Imputation par la méthode des k plus proches voisins (kNN)
La méthode des k plus proches voisins (kNN) remplace les valeurs manquantes par la moyenne (ou le vote) des k plus proches voisins. La proximité est généralement mesurée par la distance euclidienne ou une autre métrique après normalisation des données. Ses avantages résident dans sa flexibilité et l'absence de relation linéaire entre les variables. Ses inconvénients incluent un coût de calcul élevé pour les grands ensembles de données, une sensibilité à l'échelle des variables et une dégradation des performances pour les données de grande dimension (malédiction de la dimensionnalité).
6. Maximisation de l'espérance (EM)
L'approche EM estime les paramètres du modèle (par exemple, la moyenne et la covariance pour des données normales multivariées) en traitant les valeurs manquantes comme des variables latentes. L'étape E calcule itérativement l'espérance des valeurs manquantes à partir des paramètres actuels, puis l'étape M met à jour les paramètres en fonction des données « complètes » attendues. L'approche EM est robuste à certaines hypothèses de distribution, mais peut s'avérer complexe et dépend de la validité des hypothèses du modèle.
Imputation multiple : la référence absolue dans de nombreux cas
7. Imputation multiple (IM)
L'imputation multiple est considérée comme l'une des approches les plus rigoureuses pour la gestion des données manquantes. Au lieu de générer un seul jeu de données complet, elle produit plusieurs jeux de données (par exemple, 5 à 20) avec différentes imputations reflétant l'incertitude. Chaque jeu de données est analysé séparément, puis les résultats sont combinés selon les règles de Rubin afin d'obtenir des estimations et des erreurs-types plus précises.
Avantages de l'intelligence artificielle :
– Prend en compte l’incertitude liée à l’imputation.
– Plus précis pour l'inférence statistique (intervalles de confiance, tests d'hypothèses).
– Flexible pour différents types de variables.
Ses limites :
– Mise en œuvre plus complexe.
– Nécessite des hypothèses adéquates et des spécifications de modèle d'imputation.
– En cas de données manquantes dans MNAR, l'information mutuelle standard peut toujours être biaisée.
Imputation pour les séries temporelles et les données spatiales
Dans les séries temporelles, les valeurs manquantes sont souvent fortement corrélées à leurs valeurs précédentes et suivantes. Des méthodes telles que l'interpolation linéaire, les splines, les filtres de Kalman ou les modèles ARIMA/d'espace d'état sont fréquemment utilisées. Pour les données spatiales, des approches comme le krigeage et les modèles spatiaux peuvent exploiter la proximité géographique. Ces méthodes sont efficaces lorsque la structure temporelle et spatiale est prédominante, mais il convient d'être prudent face aux changements brusques (par exemple, les chocs économiques) qui peuvent rendre une simple interpolation trompeuse.
Bonnes pratiques pour le choix des méthodes d'imputation
1. Procéder à une exploration des données manquantes : vérifier le pourcentage de valeurs manquantes, le schéma des données manquantes et déterminer si ces données manquantes sont liées à une variable particulière.
2. Séparer les données d'entraînement et de test : effectuer l'imputation en « apprenant » uniquement à partir des données d'entraînement, puis l'appliquer aux données de test pour éviter les fuites de données.
3. Tenez compte du type de variable : numérique, catégorielle, ordinale ou mixte ; la méthode appropriée diffère.
4. Utiliser des indicateurs de données manquantes : parfois, l’information selon laquelle une valeur est manquante est en elle-même prédictive ; l’ajout de variables indicatrices peut améliorer les performances d’un modèle prédictif.
5. Évaluer l'impact de l'imputation : comparer les distributions avant/après imputation, vérifier si la variance a diminué et valider le modèle.
6. Privilégier l'imputation multiple pour l'inférence : lorsque l'objectif de l'analyse est l'estimation des paramètres et les tests statistiques, l'imputation multiple est souvent plus appropriée que l'imputation simple.
conclusion
L'imputation est une composante essentielle des flux de travail statistiques modernes pour la gestion des données manquantes. Des méthodes simples comme la moyenne ou la médiane peuvent servir de référence ou pour de faibles valeurs manquantes, mais elles compromettent souvent la structure des données et l'incertitude qui en découle. Les méthodes basées sur des modèles, telles que la régression, le kNN et l'EM, exploitent les relations entre les variables, tandis que l'imputation multiple offre un cadre robuste pour l'inférence en tenant compte de l'incertitude. Le choix de la méthode la plus appropriée dépend du mécanisme de données manquantes (MCAR/MAR/MNAR), de l'objectif de l'analyse (prédiction ou inférence) et des caractéristiques des données (séries temporelles, spatiales, mixtes). Avec une approche adéquate, l'imputation contribue à préserver l'intégrité de l'analyse et permet d'obtenir des conclusions plus fiables.
