Metudu di Validazione Incrociata in Statistica
In statistica è scienza di dati, una di e più grande sfide hè di assicurà chì un mudellu ùn solu funziona bè nantu à i dati nantu à i quali hè statu furmatu, ma ancu funziona bè nantu à dati novi, invisibili prima. Stu prublema hè spessu chjamatu generalizazione. Eccu induve entra in ghjocu a validazione incruciata: un metudu di valutazione di u mudellu cuncipitu per misurà e prestazioni di u mudellu in modu più ghjustu è coerente chè una sola valutazione chì usa un solu inseme di dati.
Perchè hè necessaria a validazione incruciata?
Quandu custruemu un mudellu predittivu - per esempiu, un mudellu di regressione per prevede i prezzi di l'abitazioni o un mudellu di classificazione per rilevà u spam - di solitu dividimu i dati in duie parti: un inseme di furmazione è un inseme di test. U mudellu hè furmatu nantu à i dati di furmazione è dopu valutatu nantu à i dati di test. Questu approcciu hè simplice, ma hà un inconveniente: i risultati di a valutazione ponu dipende assai da cumu i dati sò divisi. Sè i dati di test sò "facili", a prestazione pare alta; sè i dati di test sò "difficili", a prestazione pare bassa.
A validazione incruciata riduce a dipendenza da un unicu inseme di dati eseguendu parechji prucessi di furmazione è di test nantu à diversi insemi di dati è dopu calculendu a media di i risultati. Questu si traduce in stime di prestazioni chì sò più rappresentative di e cundizioni di u mondu reale.
Cuncetti basi di validazione incruciata
L'essenza di a validazione incruciata hè di dividisce i dati in parechje parte (pieghe). À ogni iterazione, alcune pieghe sò aduprate per furmà u mudellu, è una piega hè aduprata per testà u mudellu. Stu prucessu hè ripetutu finu à chì ogni piega sia stata aduprata cum'è dati di test. I punteggi di valutazione di ogni iterazione sò poi cumminati (di solitu cù a media è qualchì volta ancu a deviazione standard) per furnisce una panoramica di e prestazioni di u mudellu.
Per esempiu, in a validazione incruciata k-fold cù k=5, i dati sò divisi in 5 pieghe. A prima iterazione: piega 1 cum'è test, piega 2-5 cum'è furmazione. A seconda iterazione: piega 2 cum'è test, è cusì finu à piega 5.
Tipi cumuni di validazione incruciata
1. Validazione di Holdout (Split Train-Test)
Ancu s'ellu ùn hè micca tecnicamente una validazione incruciata "ripetuta", u metudu di holdout hè spessu cunsideratu una tappa di validazione basica. I dati sò divisi una volta, per esempiu, 80% di furmazione è 20% di test. U vantaghju hè chì hè veloce è simplice, ma u svantaghju hè l'alta varianza in i risultati perchè si basa nantu à una sola divisione.
Stu metudu hè generalmente adupratu quandu i dati sò assai grandi, affinchì ancu una divisione sia abbastanza rappresentativa.
2. Validazione incrociata K-Fold
Questa hè a forma più pupulare di validazione incruciata. U parametru k hè spessu sceltu cum'è 5 o 10 perchè hè cunsideratu per equilibrà u costu computazionale è a qualità di a stima.
eccessu:
– Utilizà i dati in modu più efficiente (ogni dati diventanu parte di a furmazione è di a prova).
– E stime di rendiment sò più stabili chè quelle di holdout.
Kekurangan:
– Ci vole più tempu perchè allena u mudellu k volte.
– Sè i dati sò assai grandi o u mudellu hè assai cumplessu, i costi di calculu ponu esse elevati.
3. Validazione incrociata K-Fold stratificata
Per i prublemi di classificazione, in particulare se e classi sò squilibrate (per esempiu, 90% negativu, 10% pusitivu), u k-fold regulare pò pruduce piegature cù distribuzioni di classi asimmetriche. U k-fold stratificatu assicura chì a proporzione di classi in ogni piega sia apprussimatamente a stessa chè a proporzione di classi in i dati uriginali.
Questu hè particularmente impurtante in a valutazione di i mudelli di rilevazione di e malatie, di a fraude, o di altri casi induve a classa minoritaria hè chjuca.
4. Validazione incrociata di Leave-One-Out (LOOCV)
In LOOCV, u numeru di pieghe hè uguale à a quantità di dati (k = n). Questu significa chì in ogni iterazione, solu una osservazione diventa i dati di prova, mentre chì u restu diventa i dati di furmazione.
eccessu:
– Quasi tutti i dati sò aduprati per a furmazione à ogni iterazione, dunque u biais di stima pò esse chjucu.
Kekurangan:
– Assai caru da u puntu di vista di u calculu per i grandi insemi di dati.
– A varianza di stima pò esse alta in certi tipi di prublemi perchè u set di test hè solu un puntu per iterazione.
LOOCV hè spessu adupratu quandu ci sò assai pochi dati, per esempiu a ricerca cù una piccula dimensione di campione.
5. Validazione incrociata ripetuta di K-Fold
Stu metudu ripete k-fold parechje volte cù diverse assegnazioni di piega (aleatorie). L'obiettivu hè di riduce a dipendenza da una sola assegnazione di piega è di pruduce stime più stabili.
Per esempiu, "10 volte ripetutu 3 volte" significa eseguisce 10 volte 3 volte (un totale di 30 allenamenti è valutazioni).
6. Validazione incrociata di serie temporali
Per i dati di serie temporali, a validazione incruciata cunvinziunale ùn hè micca adatta perchè pò "infiltrà u futuru" in u prucessu di furmazione. In e serie temporali, l'ordine temporale deve esse cunservatu. Dunque, approcci cum'è:
– Finestra scorrevole/rolling: allenamentu in u periodu iniziale poi prova in u periodu prossimu, poi a finestra si sposta.
– Finestra in espansione: i dati di furmazione aumentanu cù u tempu, poi sò testati in u prossimu periodu.
Stu metudu hè pertinente per a previsione di vendite mensili, i prezzi di l'azzioni, o i sensori in tempu reale.
Metriche di valutazione in a validazione incruciata
A validazione incruciata hè solu un quadru di valutazione; e metriche aduprate dipendenu da u tipu di prublema:
– Regressione: MSE, RMSE, MAE, R-quadratu.
– Classificazione: accuratezza, precisione, richiamu, puntuazione F1, ROC-AUC.
– Classificazione squilibrata: ROC-AUC, PR-AUC (precisione-richiamo), accuratezza equilibrata.
I risultati di a validazione incruciata sò tipicamente riportati cum'è una media metrica è una deviazione standard (per esempiu, precisione 0,89 ± 0,03). A deviazione standard aiuta à capisce a stabilità di u mudellu.
Validazione incrociata per a selezzione di u mudellu è l'ottimisazione di i parametri
Unu di i principali usi di a validazione incruciata hè a selezzione di mudelli è l'accordu di l'iperparametri. Per esempiu:
– Sceglie k in k-NN.
– Selezziunate a prufundità massima in l'arburu di decisione.
– Determinate i parametri di regularizazione in a regressione di cresta/lasso.
– Determinazione di C è gamma in SVM.
In bona pratica, u prucessu di tuning hè realizatu nantu à i dati di furmazione aduprendu a validazione incruciata, mentre chì i dati di test finali sò tenuti separati per a valutazione finale. Questu impedisce u "sovraottimisimu" per via di u mudellu chì hè sovraadattatu à i dati di valutazione.
Un approcciu più rigorosu hè chjamatu validazione incruciata annidata, chì hè una validazione incruciata in a validazione incruciata: u ciclu esternu hè per a valutazione, u ciclu internu hè per l'accordu. Questu hè pupulare in a ricerca perchè furnisce stime di prestazioni più imparziali.
Vantaghji è Limitazioni di a Validazione Incrociata
Principali vantaghji:
1. Fornisce stime di rendiment più stabili cà una sola divisione.
2. Aduprà i dati in modu efficiente, soprattuttu quandu u dataset hè chjucu.
3. Aiuta à selezziunà un mudellu più generale è riduce u risicu di sovradattamentu.
Keterbatasan:
1. I costi di calculu aumentanu quandu a furmazione hè ripetuta parechje volte.
2. E fughe di dati ponu ancu accade se u pretrattamentu ùn hè micca fattu currettamente.
3. Per i dati raggruppati (per esempiu, i dati di i pazienti chì anu parechji registri), hè necessariu un metudu particulare, cum'è u k-fold di gruppu, affinchì un individuu ùn cumparisca micca in u trenu è in a prova à u listessu tempu.
Bone pratiche per l'usu di a validazione incruciata
Per chì una valutazione sia valida, parechji principii impurtanti devenu esse rispettati:
– Eseguisce u pretrattamentu (normalizazione, imputazione, selezzione di caratteristiche) in ogni piega, micca una volta per tutti i dati. Altrimenti, l'infurmazioni da a piega di prova puderanu filtrà in a piega di u trenu.
– Aduprate k-fold stratificatu per a classificazione cù classi squilibrate.
– Aduprate un schema particulare per i dati di serie temporali in modu chì l'ordine ùn sia micca viulatu.
– Mettite da parte l'ultima seria di teste s'è u vostru scopu hè di valutà a prestazione finale di u mudellu prima di u spiegamentu.
Penutup
A validazione incruciata hè un strumentu fundamentale in a statistica applicata è in l'apprendimentu automaticu per valutà e prestazioni di i mudelli in modu più ghjustu è robustu. Utilizendu a spartera ripetuta di dati, a validazione incruciata aiuta à riduce u pregiudiziu causatu da a selezzione split train-test, rileva l'overfitting è supporta a selezzione di mudelli è l'accordu di l'iperparametri. Mentre u costu computazionale hè più altu, i benefici sò spessu degni di nota, soprattuttu quandu u dataset hè chjucu o quandu e decisioni basate nantu à i risultati di u mudellu anu cunsequenze significative. Scegliendu u tipu ghjustu di validazione incruciata è implementendu e migliori pratiche, pudemu custruisce mudelli più affidabili chì sò pronti per esse aduprati nantu à dati di u mondu reale.
