Metoda navzkrižne validacije v statistiki
V statistiki in podatkovni znanosti je eden največjih izzivov zagotoviti, da model ne deluje dobro le na podatkih, na katerih je bil učen, temveč tudi na novih, prej nevidnih podatkih. Ta problem se pogosto imenuje posploševanje. Tukaj pride v poštev navzkrižna validacija: metoda ocenjevanja modela, zasnovana za bolj pravično in dosledno merjenje učinkovitosti modela kot eno samo ocenjevanje z uporabo enega samega nabora podatkov.
Zakaj je potrebna navzkrižna validacija?
Ko gradimo napovedni model – na primer regresijski model za napovedovanje cen nepremičnin ali klasifikacijski model za zaznavanje neželene pošte – podatke običajno razdelimo na dva dela: učni nabor in testni nabor. Model se najprej nauči na učnih podatkih in nato ovrednoti na testnih podatkih. Ta pristop je preprost, vendar ima pomanjkljivost: rezultati ocenjevanja so lahko močno odvisni od tega, kako so podatki razdeljeni. Če so testni podatki »lahki«, se zdi, da je učinkovitost visoka; če pa so testni podatki »težki«, se zdi, da je učinkovitost nizka.
Navzkrižna validacija zmanjšuje odvisnost od enega samega nabora podatkov z izvajanjem več postopkov učenja in testiranja na različnih naborih podatkov ter nato povprečenjem rezultatov. To ima za posledico ocene učinkovitosti, ki so bolj reprezentativne za resnične pogoje.
Osnovni koncepti navzkrižne validacije
Bistvo navzkrižne validacije je v delitvi podatkov na več delov (kratic). V vsaki iteraciji se nekaj kratic uporabi za učenje modela, ena kratica pa za testiranje modela. Ta postopek se ponavlja, dokler se vse kratice ne uporabijo kot testni podatki. Ocenjevalni rezultati iz vsake iteracije se nato združijo (običajno s povprečjem in včasih tudi s standardnim odklonom), da se dobi pregled delovanja modela.
Na primer, pri k-kratni navzkrižni validaciji s k=5 so podatki razdeljeni na 5 pregibov. Prva iteracija: pregib 1 kot test, pregibi 2–5 kot učni korak. Druga iteracija: pregib 2 kot test in tako naprej do pregiba 5.
Pogoste vrste navzkrižne validacije
1. Validacija zadržanja (razdelitev vlaka in testa)
Čeprav tehnično gledano ne gre za "ponavljajočo se" navzkrižno validacijo, metoda holdout pogosto velja za osnovni korak validacije. Podatki se razdelijo enkrat, na primer 80 % za učenje in 20 % za testiranje. Prednost je, da je hitra in preprosta, slabost pa velika varianca rezultatov, ker se zanaša na eno samo delitev.
Ta metoda se običajno uporablja, kadar so podatki zelo veliki, tako da je že ena delitev dovolj reprezentativna.
2. Validacija križnega K-pregibanja
To je najbolj priljubljena oblika navzkrižne validacije. Parameter k se pogosto izbere kot 5 ali 10, ker velja za ravnovesje med računskimi stroški in kakovostjo ocenjevanja.
Prednosti:
– Učinkovitejša uporaba podatkov (vsak podatek postane del učenja in testiranja).
– Ocene uspešnosti so bolj stabilne kot pa časovne omejitve.
Kekurangan:
– Traja dlje, ker model trenira k-krat.
– Če so podatki zelo obsežni ali je model zelo zapleten, so lahko računski stroški visoki.
3. Stratificirana K-kratna navzkrižna validacija
Pri problemih klasifikacije, zlasti če so razredi neuravnoteženi (npr. 90 % negativnih, 10 % pozitivnih), lahko običajni k-krat ustvari kratke z asimetrično porazdelitvijo razredov. Stratificiran k-kratek zagotavlja, da je delež razredov v vsakem kratku približno enak deležu razredov v izvirnih podatkih.
To je še posebej pomembno pri ocenjevanju modelov odkrivanja bolezni, goljufij ali drugih primerov, ko je manjšinski razred majhen.
4. Navzkrižna validacija z izpustitvijo enega (LOOCV)
V LOOCV je število pregibov enako količini podatkov (k = n). To pomeni, da v vsaki iteraciji samo eno opazovanje postane testni podatek, preostanek pa učni podatki.
Prednosti:
– Skoraj vsi podatki se v vsaki iteraciji uporabijo za učenje, zato je lahko pristranskost ocenjevanja majhna.
Kekurangan:
– Zelo računsko zahtevno za velike nabore podatkov.
– Varianca ocen je lahko pri nekaterih vrstah problemov visoka, ker je testni niz sestavljen le iz ene točke na iteracijo.
LOOCV se pogosto uporablja, kadar je na voljo zelo malo podatkov, na primer pri raziskavah z majhnim vzorcem.
5. Ponavljajoča se navzkrižna validacija K-zgibanja
Ta metoda večkrat ponovi k-krat z različnimi (naključnimi) dodelitvami krat. Cilj je zmanjšati odvisnost od ene same dodelitve krat in ustvariti stabilnejše ocene.
Na primer, »10-krat ponovljeno 3-krat« pomeni 10-kratni zagon 3-krat (skupaj 30 treningov in evalvacij).
6. Navzkrižna validacija časovnih vrst
Za časovne vrste podatkov konvencionalna navzkrižna validacija ni primerna, ker lahko v proces učenja "vnese prihodnost". V časovnih vrstah je treba ohraniti časovni vrstni red. Zato se uporabljajo pristopi, kot so:
– Drsno/premikalno okno: v začetnem obdobju se izvaja trening, v naslednjem obdobju pa testiranje, nato se okno premakne.
– Razširjanje okna: podatki o usposabljanju se sčasoma povečujejo, nato pa se preizkusijo v naslednjem obdobju.
Ta metoda je pomembna za mesečno napovedovanje prodaje, cene delnic ali senzorje v realnem času.
Metrike vrednotenja pri navzkrižni validaciji
Navzkrižna validacija je le okvir za ocenjevanje; uporabljene metrike so odvisne od vrste problema:
– Regresija: MSE, RMSE, MAE, R-kvadrat.
– Klasifikacija: točnost, preciznost, odpoklic, F1-rezultat, ROC-AUC.
– Neuravnotežena klasifikacija: ROC-AUC, PR-AUC (precision-recall), uravnotežena natančnost.
Rezultati navzkrižne validacije so običajno predstavljeni kot metrična povprečja in standardni odklon (npr. natančnost 0,89 ± 0,03). Standardni odklon pomaga razumeti stabilnost modela.
Navzkrižna validacija za izbiro modela in uglaševanje parametrov
Ena glavnih uporab navzkrižne validacije je izbira modela in uglaševanje hiperparametrov. Na primer:
– Izbira k v k-NN.
– V odločitvenem drevesu izberite največjo globino.
– Določite parametre regularizacije v grebenski/laso regresiji.
– Določite C in gama v SVM.
V dobri praksi se postopek optimizacije izvaja na učnih podatkih z navzkrižno validacijo, medtem ko se končni testni podatki hranijo ločeno za končno oceno. To preprečuje "preveliki optimizem" zaradi prevelikega prilagajanja modela podatkom za oceno.
Bolj strog pristop se imenuje vgnezdena navzkrižna validacija, ki je navzkrižna validacija znotraj navzkrižne validacije: zunanja zanka je namenjena vrednotenju, notranja zanka pa uglaševanju. To je priljubljeno v raziskavah, ker zagotavlja bolj nepristranske ocene učinkovitosti.
Prednosti in omejitve navzkrižne validacije
Glavne prednosti:
1. Zagotavlja stabilnejše ocene uspešnosti kot enojna delitev.
2. Učinkovito uporabljajte podatke, zlasti kadar je nabor podatkov majhen.
3. Pomaga pri izbiri bolj splošnega modela in zmanjšuje tveganje prekomernega prilagajanja.
Keterbatasan:
1. Računalniški stroški se povečajo, ko se usposabljanje večkrat ponovi.
2. Do uhajanja podatkov lahko pride tudi, če predobdelava ni izvedena pravilno.
3. Za združene podatke (na primer podatke o pacientih, ki imajo več zapisov) je potrebna posebna metoda, kot je k-kratno združevanje skupin, da se en posameznik ne pojavi v vlaku in testu hkrati.
Dobre prakse pri uporabi navzkrižne validacije
Da bi bila ocena veljavna, je treba upoštevati več pomembnih načel:
– Predobdelavo (normalizacijo, imputacijo, izbiro značilk) izvedite znotraj vsakega pregiba, ne enkrat za celotne podatke. V nasprotnem primeru bi lahko informacije iz testnega pregiba uhajale v pregib vlaka.
– Za razvrščanje z neuravnoteženimi razredi uporabite stratificirano k-kratko metodo.
– Za časovne vrste podatkov uporabite posebno shemo, da se vrstni red ne krši.
– Če je vaš cilj oceniti končno delovanje modela pred uvedbo, končni nabor testov odložite.
Zapiranje
Navzkrižna validacija je temeljno orodje v uporabni statistiki in strojnem učenju za bolj pravično in robustno ocenjevanje delovanja modelov. Z uporabo ponavljajoče se izmenjave podatkov navzkrižna validacija pomaga zmanjšati pristranskost, ki jo povzroča izbira z razdelitvijo testov vlakov, zazna prekomerno prilagajanje ter podpira izbiro modela in uglaševanje hiperparametrov. Čeprav so računski stroški višji, so koristi pogosto vredne tega, zlasti kadar je nabor podatkov majhen ali kadar imajo odločitve, ki temeljijo na rezultatih modela, pomembne posledice. Z izbiro prave vrste navzkrižne validacije in izvajanjem najboljših praks lahko zgradimo zanesljivejše modele, ki so pripravljeni za uporabo na podatkih iz resničnega sveta.
