Méthode de validation croisée en statistique
En statistiques et en science des données, l'un des principaux défis consiste à garantir qu'un modèle soit performant non seulement sur les données ayant servi à son entraînement, mais également sur de nouvelles données inédites. Ce problème est souvent désigné par le terme de généralisation. C'est là qu'intervient la validation croisée : une méthode d'évaluation de modèle conçue pour mesurer ses performances de manière plus juste et cohérente qu'une évaluation unique sur un seul jeu de données.
Pourquoi la validation croisée est-elle nécessaire ?
Lorsqu'on construit un modèle prédictif (par exemple, un modèle de régression pour prédire les prix de l'immobilier ou un modèle de classification pour détecter les spams), on divise généralement les données en deux parties : un ensemble d'entraînement et un ensemble de test. Le modèle est entraîné sur les données d'entraînement, puis évalué sur les données de test. Cette approche est simple, mais elle présente un inconvénient : les résultats de l'évaluation peuvent dépendre fortement de la manière dont les données sont divisées. Si les données de test sont « faciles », les performances semblent élevées ; si elles sont « difficiles », les performances semblent faibles.
La validation croisée réduit la dépendance à un seul ensemble de données en effectuant plusieurs processus d'entraînement et de test sur différents ensembles de données, puis en calculant la moyenne des résultats. On obtient ainsi des estimations de performance plus représentatives des conditions réelles.
Concepts de base de la validation croisée
Le principe de la validation croisée est de diviser les données en plusieurs parties (ou plis). À chaque itération, certains plis servent à entraîner le modèle, tandis qu'un pli est utilisé pour le tester. Ce processus est répété jusqu'à ce que chaque pli ait servi de données de test. Les scores d'évaluation de chaque itération sont ensuite combinés (généralement avec la moyenne et parfois aussi l'écart type) afin de fournir une vue d'ensemble des performances du modèle.
Par exemple, dans la validation croisée à k plis avec k=5, les données sont divisées en 5 plis. À la première itération : le pli 1 sert de test, les plis 2 à 5 d’entraînement. À la deuxième itération : le pli 2 sert de test, et ainsi de suite jusqu’au pli 5.
Types courants de validation croisée
1. Validation par essai libre (séparation des ensembles d'entraînement et de test)
Bien que n'étant pas techniquement une validation croisée « répétée », la méthode de validation croisée par échantillonnage aléatoire est souvent considérée comme une étape de validation de base. Les données sont divisées une seule fois, par exemple en 80 % pour l'entraînement et 20 % pour les tests. L'avantage est sa rapidité et sa simplicité, mais l'inconvénient est la forte variance des résultats, car elle repose sur une seule division.
Cette méthode est généralement utilisée lorsque les données sont très volumineuses, de sorte qu'une seule division soit suffisamment représentative.
2. Validation croisée à K plis
Il s'agit de la forme la plus courante de validation croisée. Le paramètre k est souvent choisi à 5 ou 10 car il est considéré comme offrant un bon compromis entre le coût de calcul et la qualité de l'estimation.
Kelebihan:
– Utiliser les données plus efficacement (chaque donnée devient une partie des ensembles d’entraînement et de test).
– Les estimations de performance sont plus stables que les résultats de validation.
Kekurangan :
– Cela prend plus de temps car le modèle est entraîné k fois.
– Si les données sont très volumineuses ou si le modèle est très complexe, les coûts de calcul peuvent être élevés.
3. Validation croisée stratifiée à K plis
Pour les problèmes de classification, notamment en cas de déséquilibre des classes (par exemple, 90 % de classes négatives et 10 % de classes positives), la validation croisée k-fold classique peut produire des plis avec des distributions de classes asymétriques. La validation croisée k-fold stratifiée garantit que la proportion de classes dans chaque pli est approximativement la même que dans les données originales.
Ceci est particulièrement important pour évaluer les modèles de détection des maladies, les fraudes ou d'autres cas où la classe minoritaire est petite.
4. Validation croisée Leave-One-Out (LOOCV)
Dans la validation croisée LOOCV, le nombre de plis est égal à la quantité de données (k = n). Cela signifie qu'à chaque itération, une seule observation devient donnée de test, les autres constituant les données d'entraînement.
Kelebihan:
– Presque toutes les données sont utilisées pour l'entraînement à chaque itération, ce qui permet de réduire le biais d'estimation.
Kekurangan :
– Très gourmand en ressources de calcul pour les grands ensembles de données.
– La variance d'estimation peut être élevée dans certains types de problèmes car l'ensemble de test ne comporte qu'un seul point par itération.
La validation croisée LOOCV est souvent utilisée lorsqu'il y a très peu de données, par exemple dans le cadre de recherches avec un petit échantillon.
5. Validation croisée à K plis répétée
Cette méthode répète la validation croisée k-fold plusieurs fois avec des affectations de plis différentes (aléatoires). L'objectif est de réduire la dépendance à une seule affectation de plis et de produire des estimations plus stables.
Par exemple, « 10 fois répété 3 fois » signifie exécuter 10 fois 3 fois (un total de 30 entraînements et évaluations).
6. Validation croisée des séries temporelles
Pour les données de séries temporelles, la validation croisée classique n'est pas adaptée car elle peut introduire des informations futures dans le processus d'apprentissage. Dans les séries temporelles, l'ordre temporel doit être préservé. Par conséquent, des approches telles que :
– Fenêtre glissante : entraînement pendant la période initiale, puis test pendant la période suivante, puis la fenêtre se déplace.
– Fenêtre d'apprentissage progressive : les données d'entraînement augmentent au fil du temps, puis sont testées lors de la période suivante.
Cette méthode est pertinente pour les prévisions de ventes mensuelles, les cours boursiers ou les capteurs en temps réel.
Métriques d'évaluation dans la validation croisée
La validation croisée n'est qu'un cadre d'évaluation ; les métriques utilisées dépendent du type de problème :
– Régression : MSE, RMSE, MAE, R².
– Classification : exactitude, précision, rappel, score F1, ROC-AUC.
– Classification déséquilibrée : ROC-AUC, PR-AUC (précision-rappel), précision équilibrée.
Les résultats de la validation croisée sont généralement présentés sous forme de moyenne et d'écart type (par exemple, précision 0,89 ± 0,03). L'écart type permet d'évaluer la stabilité du modèle.
Validation croisée pour la sélection de modèles et le réglage des paramètres
L'une des principales applications de la validation croisée est la sélection de modèles et l'optimisation des hyperparamètres. Par exemple :
– Choisir k dans k-NN.
– Sélectionnez la profondeur maximale dans l'arbre de décision.
– Déterminer les paramètres de régularisation dans la régression ridge/lasso.
– Déterminer C et gamma dans SVM.
En pratique, le processus d'optimisation est réalisé sur les données d'entraînement par validation croisée, tandis que les données de test finales sont conservées séparément pour l'évaluation finale. Ceci évite un excès d'optimisme dû à un surapprentissage du modèle sur les données d'évaluation.
Une approche plus rigoureuse consiste à utiliser la validation croisée imbriquée : la boucle externe sert à l’évaluation, la boucle interne à l’ajustement. Cette méthode est courante en recherche car elle fournit des estimations de performance plus objectives.
Avantages et limites de la validation croisée
Principaux avantages :
1. Fournit des estimations de performance plus stables qu'une division unique.
2. Utilisez les données efficacement, surtout lorsque l'ensemble de données est petit.
3. Permet de sélectionner un modèle plus général et réduit le risque de surapprentissage.
Inconvénients :
1. Les coûts de calcul augmentent à mesure que l'entraînement est répété de nombreuses fois.
2. Des fuites de données peuvent toujours se produire si le prétraitement n'est pas effectué correctement.
3. Pour les données groupées (par exemple, les données d'un patient comportant plusieurs enregistrements), une méthode spéciale est nécessaire, telle que le groupe k-fold, afin qu'un individu n'apparaisse pas à la fois dans l'entraînement et le test.
Bonnes pratiques d'utilisation de la validation croisée
Pour qu'une évaluation soit valide, plusieurs principes importants doivent être respectés :
– Effectuez le prétraitement (normalisation, imputation, sélection de caractéristiques) au sein de chaque pli, et non une seule fois pour l'ensemble des données. Sinon, des informations du pli de test pourraient se retrouver dans le pli d'entraînement.
– Utilisez la méthode k-fold stratifiée pour la classification avec des classes déséquilibrées.
– Utilisez un schéma spécial pour les données de séries temporelles afin que l'ordre ne soit pas violé.
– Mettez de côté le jeu de tests final si votre objectif est d'évaluer les performances finales du modèle avant son déploiement.
Clôture
La validation croisée est un outil fondamental en statistiques appliquées et en apprentissage automatique pour évaluer les performances des modèles de manière plus juste et robuste. Grâce au partage répété des données, elle contribue à réduire les biais liés à la sélection des ensembles d'entraînement et de test, détecte le surapprentissage et facilite la sélection du modèle et l'optimisation des hyperparamètres. Bien que son coût de calcul soit plus élevé, les avantages sont souvent significatifs, notamment lorsque l'ensemble de données est restreint ou lorsque les décisions basées sur les résultats du modèle ont des conséquences importantes. En choisissant le type de validation croisée approprié et en appliquant les bonnes pratiques, nous pouvons construire des modèles plus fiables, prêts à être utilisés sur des données réelles.
