Metodo di convalida incrociata in statistica
In statistica e nella scienza dei dati, una delle maggiori sfide è garantire che un modello non solo funzioni bene sui dati su cui è stato addestrato, ma anche su nuovi dati mai visti prima. Questo problema viene spesso definito generalizzazione. È qui che entra in gioco la convalida incrociata: un metodo di valutazione dei modelli progettato per misurare le prestazioni del modello in modo più equo e coerente rispetto a una singola valutazione su un singolo set di dati.
Perché è necessaria la convalida incrociata?
Quando costruiamo un modello predittivo, ad esempio un modello di regressione per prevedere i prezzi delle case o un modello di classificazione per rilevare lo spam, in genere dividiamo i dati in due parti: un set di addestramento e un set di test. Il modello viene addestrato sui dati di addestramento e poi valutato sui dati di test. Questo approccio è semplice, ma presenta uno svantaggio: i risultati della valutazione possono dipendere fortemente da come vengono suddivisi i dati. Se i dati di test risultano essere "facili", le prestazioni appaiono elevate; se i dati di test risultano essere "difficili", le prestazioni appaiono basse.
La convalida incrociata riduce la dipendenza da un singolo set di dati eseguendo più processi di addestramento e test su set di dati diversi e quindi calcolando la media dei risultati. Ciò consente di ottenere stime delle prestazioni più rappresentative delle condizioni reali.
Concetti base della convalida incrociata
L'essenza della convalida incrociata consiste nel suddividere i dati in diverse parti (fold). Ad ogni iterazione, alcuni fold vengono utilizzati per addestrare il modello e un fold per testarlo. Questo processo viene ripetuto finché ogni fold non è stato utilizzato come dato di test. I punteggi di valutazione di ogni iterazione vengono quindi combinati (di solito con la media e talvolta anche con la deviazione standard) per fornire una panoramica delle prestazioni del modello.
Ad esempio, nella convalida incrociata k-fold con k=5, i dati vengono divisi in 5 parti. Prima iterazione: la parte 1 viene utilizzata come test, le parti dalla 2 alla 5 come training. Seconda iterazione: la parte 2 viene utilizzata come test e così via fino alla parte 5.
Tipi comuni di convalida incrociata
1. Validazione del set di test (suddivisione tra set di addestramento e set di test)
Sebbene tecnicamente non si tratti di una convalida incrociata "ripetuta", il metodo holdout è spesso considerato una fase di validazione di base. I dati vengono suddivisi una sola volta, ad esempio, 80% per l'addestramento e 20% per il test. Il vantaggio è che è veloce e semplice, ma lo svantaggio è l'elevata varianza dei risultati perché si basa su una singola suddivisione.
Questo metodo viene solitamente utilizzato quando i dati sono molto numerosi, in modo che anche una sola suddivisione risulti sufficientemente rappresentativa.
2. Validazione incrociata K-fold
Questa è la forma più diffusa di convalida incrociata. Il parametro k viene spesso scelto pari a 5 o 10 perché si ritiene che rappresenti un buon compromesso tra costo computazionale e qualità della stima.
Kelebihan:
– Utilizzo più efficiente dei dati (ogni dato diventa parte del set di addestramento e di test).
– Le stime delle prestazioni sono più stabili rispetto al gruppo di controllo.
Mancanza:
– Richiede più tempo perché addestra il modello k volte.
– Se i dati sono molto voluminosi o il modello è molto complesso, i costi computazionali possono essere elevati.
3. Validazione incrociata K-fold stratificata
Per i problemi di classificazione, soprattutto se le classi sono sbilanciate (ad esempio, 90% negative, 10% positive), la k-fold standard può produrre fold con distribuzioni di classi asimmetriche. La k-fold stratificata garantisce che la proporzione di classi in ogni fold sia approssimativamente la stessa della proporzione di classi nei dati originali.
Ciò è particolarmente importante nella valutazione dei modelli di rilevamento delle malattie, delle frodi o di altri casi in cui la classe minoritaria è di piccole dimensioni.
4. Validazione incrociata Leave-One-Out (LOOCV)
Nella convalida incrociata leave-one-out (LOOCV), il numero di fold è uguale alla quantità di dati (k = n). Ciò significa che in ogni iterazione, solo un'osservazione diventa dato di test, mentre le restanti diventano dati di addestramento.
Kelebihan:
– Quasi tutti i dati vengono utilizzati per l'addestramento ad ogni iterazione, quindi la distorsione della stima può essere minima.
Mancanza:
– Richiede un'elevata potenza di calcolo per set di dati di grandi dimensioni.
– La varianza della stima può essere elevata in alcuni tipi di problemi perché il set di test è costituito da un solo punto per iterazione.
La convalida incrociata leave-one-out (LOOCV) viene spesso utilizzata quando i dati a disposizione sono molto scarsi, ad esempio nella ricerca con un campione di piccole dimensioni.
5. Validazione incrociata K-fold ripetuta
Questo metodo ripete il k-fold più volte con diverse assegnazioni (casuali) di fold. L'obiettivo è ridurre la dipendenza da una singola assegnazione di fold e produrre stime più stabili.
Ad esempio, "ripetuto 3 volte per 10 volte" significa eseguire il ciclo 10 volte per 3 volte (per un totale di 30 sessioni di allenamento e valutazione).
6. Validazione incrociata delle serie temporali
Per i dati di serie temporali, la convalida incrociata convenzionale non è adatta perché può "introdurre informazioni future" nel processo di addestramento. Nelle serie temporali, l'ordine temporale deve essere preservato. Pertanto, approcci come:
– Finestra scorrevole/a scorrimento: addestramento nel periodo iniziale, test nel periodo successivo, quindi spostamento della finestra.
– Finestra di espansione: i dati di addestramento aumentano nel tempo e vengono poi testati nel periodo successivo.
Questo metodo è rilevante per la previsione delle vendite mensili, i prezzi delle azioni o i sensori in tempo reale.
Metriche di valutazione nella convalida incrociata
La convalida incrociata è solo un framework di valutazione; le metriche utilizzate dipendono dal tipo di problema:
– Regressione: MSE, RMSE, MAE, R-quadrato.
– Classificazione: accuratezza, precisione, richiamo, punteggio F1, ROC-AUC.
– Classificazione non bilanciata: ROC-AUC, PR-AUC (precisione-richiamo), accuratezza bilanciata.
I risultati della convalida incrociata vengono in genere riportati come media e deviazione standard (ad esempio, accuratezza 0,89 ± 0,03). La deviazione standard aiuta a comprendere la stabilità del modello.
Convalida incrociata per la selezione del modello e la messa a punto dei parametri
Uno degli usi principali della convalida incrociata è la selezione del modello e la messa a punto degli iperparametri. Ad esempio:
– Scelta di k nell'algoritmo k-NN.
– Selezionare la profondità massima nell'albero decisionale.
– Determinare i parametri di regolarizzazione nella regressione ridge/lasso.
– Determinare C e gamma nell'SVM.
Come buona prassi, il processo di ottimizzazione viene eseguito sui dati di addestramento utilizzando la convalida incrociata, mentre i dati di test finali vengono tenuti separati per la valutazione finale. Ciò impedisce un "eccessivo ottimismo" dovuto al fatto che il modello venga sovra-adattato ai dati di valutazione.
Un approccio più rigoroso è chiamato convalida incrociata annidata, che consiste in una convalida incrociata all'interno di un'altra convalida incrociata: il ciclo esterno serve per la valutazione, il ciclo interno per la messa a punto. Questo metodo è diffuso nella ricerca perché fornisce stime delle prestazioni più imparziali.
Vantaggi e limiti della convalida incrociata
Principali vantaggi:
1. Fornisce stime di prestazione più stabili rispetto a una singola divisione.
2. Utilizzare i dati in modo efficiente, soprattutto quando il set di dati è di piccole dimensioni.
3. Aiuta a selezionare un modello più generale e riduce il rischio di overfitting.
Keterbatasan:
1. I costi computazionali aumentano con la ripetizione dell'addestramento.
2. Le fughe di dati possono comunque verificarsi se la preelaborazione non viene eseguita correttamente.
3. Per i dati raggruppati (ad esempio, dati di pazienti con più record), è necessario un metodo speciale, come il k-fold di gruppo, in modo che un singolo individuo non compaia contemporaneamente nei set di addestramento e di test.
Buone pratiche nell'utilizzo della convalida incrociata
Affinché una valutazione sia valida, è necessario rispettare alcuni principi importanti:
– Eseguire la preelaborazione (normalizzazione, imputazione, selezione delle caratteristiche) all'interno di ciascuna partizione, non una sola volta per l'intero set di dati. In caso contrario, le informazioni provenienti dalla partizione di test potrebbero confluire nella partizione di addestramento.
– Utilizzare la classificazione k-fold stratificata per classi sbilanciate.
– Utilizzare uno schema specifico per i dati delle serie temporali in modo che l'ordine non venga violato.
– Metti da parte il set di test finale se il tuo obiettivo è valutare le prestazioni finali del modello prima della distribuzione.
Chiusura
La convalida incrociata è uno strumento fondamentale nella statistica applicata e nell'apprendimento automatico per valutare le prestazioni dei modelli in modo più equo e robusto. Utilizzando la condivisione ripetuta dei dati, la convalida incrociata contribuisce a ridurre la distorsione causata dalla selezione della suddivisione in set di addestramento e di test, rileva l'overfitting e supporta la selezione del modello e la messa a punto degli iperparametri. Sebbene il costo computazionale sia più elevato, i benefici spesso compensano lo svantaggio, soprattutto quando il dataset è di piccole dimensioni o quando le decisioni basate sui risultati del modello hanno conseguenze significative. Scegliendo il tipo di convalida incrociata più appropriato e implementando le migliori pratiche, possiamo costruire modelli più affidabili, pronti per essere utilizzati su dati reali.
