Ristvalideerimise meetod statistikas
Statistikas ja andmeteaduses on üks suurimaid väljakutseid tagada, et mudel toimiks hästi mitte ainult andmetega, mille põhjal seda treeniti, vaid ka uute, varem nägemata andmetega. Seda probleemi nimetatakse sageli üldistamiseks. Siin tulebki mängu ristvalideerimine: mudeli hindamismeetod, mis on loodud mudeli toimivuse õiglasemaks ja järjepidevamaks mõõtmiseks kui üksik hindamine, mis kasutab ühte andmekogumit.
Miks on vaja ristvalideerimist?
Ennustava mudeli – näiteks regressioonimudeli kinnisvarahindade ennustamiseks või klassifitseerimismudeli rämpsposti tuvastamiseks – loomisel jagame andmed tavaliselt kaheks osaks: treeningandmestikuks ja testandmestikuks. Mudelit treenitakse treeningandmestiku põhjal ja seejärel hinnatakse testandmestiku põhjal. See lähenemisviis on lihtne, kuid sellel on puudus: hindamistulemused võivad suuresti sõltuda sellest, kuidas andmed on jaotatud. Kui testandmestik on „lihtne“, tundub jõudlus kõrge; kui testandmestik on „raske“, tundub jõudlus madal.
Ristvalideerimine vähendab sõltuvust ühest andmestikust, viies erinevatel andmekogumitel läbi mitu treening- ja testimisprotsessi ning seejärel tulemuste keskmistamise. Selle tulemuseks on jõudlushinnangud, mis on reaalsete tingimuste suhtes esinduslikumad.
Ristvalideerimise põhimõisted
Ristvalideerimise põhiolemus on andmete jagamine mitmeks osaks (voldiks). Igas iteratsioonis kasutatakse mõnda voltimist mudeli treenimiseks ja ühte voltimist mudeli testimiseks. Seda protsessi korratakse, kuni iga voltimist on kasutatud testandmetena. Seejärel kombineeritakse iga iteratsiooni hindamisskoorid (tavaliselt keskmise ja mõnikord ka standardhälbega), et anda ülevaade mudeli toimivusest.
Näiteks k-kordse ristvalideerimise korral, kus k=5, jagatakse andmed viieks voldiks. Esimene iteratsioon: voldi 1 testvoldiks, voldid 2–5 treeningvoldiks. Teine iteratsioon: voldi 2 testvoldiks ja nii edasi kuni 5. voldiks.
Ristvalideerimise levinumad tüübid
1. Ooteaja valideerimine (rongi-testi jagamine)
Kuigi tehniliselt ei ole tegemist "korduva" ristvalideerimisega, peetakse pidurdamismeetodit sageli valideerimise põhietapiks. Andmed jagatakse üks kord, näiteks 80% treeninguks ja 20% testimiseks. Selle eeliseks on kiirus ja lihtsus, kuid puuduseks on tulemuste suur varieeruvus, kuna see tugineb ühele jaotusele.
Seda meetodit kasutatakse tavaliselt siis, kui andmed on väga suured, nii et isegi üks jaotus on piisavalt esinduslik.
2. K-voldi ristvalideerimine
See on ristvalideerimise kõige populaarsem vorm. Parameeter k valitakse sageli väärtuseks 5 või 10, kuna seda peetakse arvutuskulude ja hinnangu kvaliteedi tasakaalustamiseks.
Eelised:
– Andmete tõhusam kasutamine (igast andmest saab osa treeningust ja testist).
– Toimivushinnangud on stabiilsemad kui ooteaeg.
Puudus:
– Võtab kauem aega, sest see treenib mudelit k korda.
– Kui andmed on väga suured või mudel väga keeruline, võivad arvutuskulud olla suured.
3. Kihiline K-voldi ristvalideerimine
Klassifitseerimisprobleemide puhul, eriti kui klassid on tasakaalustamata (nt 90% negatiivsed, 10% positiivsed), võib tavaline k-kordne meetod anda tulemuseks viltuse klassijaotusega murde. Kihiline k-kordne meetod tagab, et klasside osakaal igas murdes on ligikaudu sama, mis klasside osakaal algandmetes.
See on eriti oluline haiguste avastamise mudelite, pettuste või muude juhtumite hindamisel, kus vähemusklass on väike.
4. Jäta üks välja ristvalideerimine (LOOCV)
LOOCV-s on voltimiste arv võrdne andmete hulgaga (k = n). See tähendab, et igas iteratsioonis saab ainult ühest vaatlusest testandmed, ülejäänud aga treeningandmed.
Eelised:
– Peaaegu kõiki andmeid kasutatakse igas iteratsioonis treenimiseks, seega võib hinnangu hälve olla väike.
Puudus:
– Suurte andmekogumite puhul arvutuslikult väga kulukas.
– Hinnangu dispersioon võib teatud tüüpi probleemide puhul olla suur, kuna testikomplekt koosneb ainult ühest punktist iteratsiooni kohta.
LOOCV-d kasutatakse sageli siis, kui andmeid on väga vähe, näiteks väikese valimiga uuringutes.
5. Korduv K-voldi ristvalideerimine
See meetod kordab k-kordset protseduuri mitu korda erinevate (juhuslike) kordamismäärangutega. Eesmärk on vähendada sõltuvust ühest kordamismäärangust ja saada stabiilsemaid hinnanguid.
Näiteks „10-kordne kordus 3 korda” tähendab 10-kordset harjutust 3 korda (kokku 30 treeningut ja hindamist).
6. Ajaseeriate ristvalideerimine
Ajaseeriate puhul tavapärane ristvalideerimine ei sobi, kuna see võib "tuleviku" treeningprotsessi sisse lekkida. Ajaseeria puhul tuleb säilitada ajaline järjekord. Seetõttu on vaja selliseid lähenemisviise nagu:
– Veerev/libisev aken: treenige algperioodil, seejärel testige järgmisel perioodil ja seejärel aken nihkub.
– Laienev aken: treeningandmete hulk aja jooksul suureneb ja seejärel testitakse neid järgmisel perioodil.
See meetod on asjakohane igakuise müügi ennustamiseks, aktsiahindade jälgimiseks või reaalajas andurite kasutamiseks.
Hindamismõõdikud ristvalideerimisel
Ristvalideerimine on ainult hindamisraamistik; kasutatavad mõõdikud sõltuvad probleemi tüübist:
– Regressioon: keskmine veamäär (MSE), keskmine veamäär (RMSE), keskmine eksemplar (MAE), R-ruut.
– Klassifikatsioon: täpsus, korrektsus, meenutus, F1-skoor, ROC-AUC.
– Tasakaalustamata klassifikatsioon: ROC-AUC, PR-AUC (täppis-taasesitamine), tasakaalustatud täpsus.
Ristvalideerimise tulemused esitatakse tavaliselt meetrilise keskmise ja standardhälbena (nt täpsus 0,89 ± 0,03). Standardhälve aitab mõista mudeli stabiilsust.
Mudeli valiku ja parameetrite häälestamise ristvalideerimine
Üks ristvalideerimise peamisi kasutusviise on mudeli valik ja hüperparameetrite häälestamine. Näiteks:
– k valimine k-NN-is.
– Valige otsustuspuust maksimaalne sügavus.
– Määrake harja/lasso regressiooni regulariseerimisparameetrid.
– Määrake C ja gamma SVM-is.
Hea tava kohaselt viiakse häälestamisprotsess treeningandmetega läbi ristvalideerimise abil, samal ajal kui lõplikud testandmed hoitakse lõplikuks hindamiseks eraldi. See hoiab ära „üleoptimismi“, mis on tingitud mudeli ülemäärasest sobitamisest hindamisandmetega.
Rangemat lähenemisviisi nimetatakse pesastatud ristvalideerimiseks, mis on ristvalideerimine ristvalideerimise sees: välimine tsükkel on hindamiseks, sisemine tsükkel häälestamiseks. See on uurimistöös populaarne, kuna see annab erapooletumaid jõudlushinnanguid.
Ristvalideerimise eelised ja piirangud
Peamised eelised:
1. Annab stabiilsemaid jõudlushinnanguid kui ühekordne jagamine.
2. Kasutage andmeid tõhusalt, eriti kui andmestik on väike.
3. Aitab valida üldisema mudeli ja vähendab ülepakutamise ohtu.
Piirangud:
1. Arvutuskulud suurenevad, kui treeningut korratakse mitu korda.
2. Andmelekked võivad siiski esineda, kui eeltöötlust ei tehta korralikult.
3. Rühmitatud andmete (näiteks patsiendiandmete, millel on mitu kirjet) puhul on vaja spetsiaalset meetodit, näiteks rühmitamise k-kordamist, et üks isik ei ilmuks samaaegselt nii loendisse kui ka testi.
Ristvalideerimise head tavad
Selleks, et hindamine oleks kehtiv, tuleb järgida mitmeid olulisi põhimõtteid:
– Eeltöötlust (normaliseerimine, imputeerimine, tunnuste valik) tuleks teha igas voltimisüksuses, mitte üks kord kõigi andmete jaoks. Vastasel juhul võib teave testvoldist lekkida nn. rongivolti.
– Tasakaalustamata klasside klassifitseerimiseks kasutage stratifitseeritud k-korda.
– Kasutage aegridade andmete jaoks spetsiaalset skeemi, et järjekorda ei rikuta.
– Kui teie eesmärk on enne juurutamist mudeli lõplikku jõudlust hinnata, pange viimane testikomplekt kõrvale.
Sulgemine
Ristvalideerimine on rakendusstatistikas ja masinõppes oluline tööriist mudeli toimivuse õiglasemaks ja usaldusväärsemaks hindamiseks. Kasutades korduvat andmete jagamist, aitab ristvalideerimine vähendada rongi testimise jagatud valikust tingitud eelarvamusi, tuvastab ülesobitamise ning toetab mudeli valimist ja hüperparameetrite häälestamist. Kuigi arvutuskulud on suuremad, on eelised sageli seda väärt, eriti kui andmestik on väike või kui mudeli tulemustel põhinevatel otsustel on olulised tagajärjed. Õige ristvalideerimise tüübi valimise ja parimate tavade rakendamise abil saame luua usaldusväärsemaid mudeleid, mis on valmis reaalsete andmete peal kasutamiseks.
