Kryžminio patvirtinimo metodas statistikoje
Statistikoje ir duomenų moksle vienas didžiausių iššūkių yra užtikrinti, kad modelis gerai veiktų ne tik su duomenimis, su kuriais jis buvo apmokytas, bet ir su naujais, anksčiau nematytais duomenimis. Ši problema dažnai vadinama apibendrinimu. Čia praverčia kryžminis patvirtinimas: modelio vertinimo metodas, skirtas modelio našumui įvertinti teisingiau ir nuosekliau nei atliekant vieną vertinimą naudojant vieną duomenų rinkinį.
Kodėl reikalingas kryžminis patvirtinimas?
Kurdami nuspėjamąjį modelį, pavyzdžiui, regresinį modelį būstų kainoms prognozuoti arba klasifikavimo modelį šlamštui aptikti, duomenis paprastai padalijame į dvi dalis: mokymo rinkinį ir testų rinkinį. Modelis apmokomas naudojant mokymo duomenis, o tada vertinamas naudojant testų duomenis. Šis metodas yra paprastas, tačiau turi trūkumą: vertinimo rezultatai gali labai priklausyti nuo to, kaip duomenys yra suskirstyti. Jei testų duomenys yra „lengvi“, našumas atrodo aukštas; jei testų duomenys yra „sunkūs“, našumas atrodo žemas.
Kryžminis patvirtinimas sumažina priklausomybę nuo vieno duomenų rinkinio, nes atliekami keli mokymo ir testavimo procesai su skirtingais duomenų rinkiniais, o tada apskaičiuojamas rezultatų vidurkis. Taip gaunami našumo įverčiai, kurie labiau atspindi realias sąlygas.
Pagrindinės kryžminio patvirtinimo sąvokos
Kryžminio patvirtinimo esmė yra duomenų padalijimas į kelias dalis (sulankstymus). Kiekvienoje iteracijoje keli sulankstymai naudojami modeliui apmokyti, o vienas sulankstymas – modeliui patikrinti. Šis procesas kartojamas tol, kol kiekvienas sulankstymas naudojamas kaip bandymo duomenys. Kiekvienos iteracijos vertinimo balai sujungiami (paprastai su vidurkiu, o kartais ir su standartiniu nuokrypiu), kad būtų galima susidaryti bendrą vaizdą apie modelio veikimą.
Pavyzdžiui, atliekant k kartų kryžminę patikrą, kai k = 5, duomenys padalijami į 5 kartus. Pirmoji iteracijoje: 1 kartus sulankstoma kaip testinis, 2–5 kartus sulankstoma kaip mokymo. Antroji iteracijoje: 2 kartus sulankstoma kaip testinis ir taip toliau iki 5 kartojimo.
Įprasti kryžminio patvirtinimo tipai
1. Išlaikymo patvirtinimas (traukinio bandymo padalijimas)
Nors techniškai tai nėra „pakartotinis“ kryžminis patvirtinimas, sustabdymo metodas dažnai laikomas pagrindiniu patvirtinimo etapu. Duomenys padalijami vieną kartą, pavyzdžiui, 80 % mokymo ir 20 % testavimo. Privalumas yra tas, kad tai greita ir paprasta, tačiau trūkumas yra didelis rezultatų kintamumas, nes jis remiasi vienu padalijimu.
Šis metodas dažniausiai naudojamas, kai duomenų yra labai daug, kad net vienas padalinys būtų pakankamai reprezentatyvus.
2. K-sulankstymo kryžminis patvirtinimas
Tai populiariausia kryžminio patvirtinimo forma. K parametras dažnai pasirenkamas kaip 5 arba 10, nes manoma, kad jis padeda subalansuoti skaičiavimo sąnaudas ir įvertinimo kokybę.
Privalumai:
– Efektyvesnis duomenų naudojimas (kiekvieni duomenys tampa mokymo ir testavimo dalimi).
– Našumo įverčiai yra stabilesni nei laikymasis.
Trūksta:
– Užtrunka ilgiau, nes modelis apmokomas k kartų.
– Jei duomenų kiekis labai didelis arba modelis labai sudėtingas, skaičiavimo išlaidos gali būti didelės.
3. Stratifikuotas K-sulankstymo kryžminis patvirtinimas
Klasifikavimo problemoms spręsti, ypač jei klasės yra nesubalansuotos (pvz., 90 % neigiama, 10 % teigiama), įprastas k-sulankstymas gali sukelti sulankstymus su iškreiptu klasių pasiskirstymu. Stratifikuotas k-sulankstymas užtikrina, kad klasių dalis kiekviename sulankstyme būtų maždaug tokia pati kaip klasių dalis pradiniuose duomenyse.
Tai ypač svarbu vertinant ligų aptikimo modelius, sukčiavimą ar kitus atvejus, kai mažumos klasė yra maža.
4. Kryžminis patvirtinimas „palik vieną – išbrauk“ (LOOCV)
LOOCV atveju sulankstymų skaičius lygus duomenų kiekiui (k = n). Tai reiškia, kad kiekvienoje iteracijoje tik vienas stebėjimas tampa bandymo duomenimis, o likusieji – mokymo duomenimis.
Privalumai:
– Kiekvienoje iteracijoje mokymui naudojami beveik visi duomenys, todėl įvertinimo paklaida gali būti maža.
Trūksta:
– Labai brangu skaičiavimo požiūriu dideliems duomenų rinkiniams.
– Kai kurių tipų uždaviniuose įvertinimo dispersija gali būti didelė, nes testų rinkinį sudaro tik vienas taškas vienai iteracijai.
LOOCV dažnai naudojamas, kai yra labai mažai duomenų, pavyzdžiui, atliekant tyrimus su maža imtimi.
5. Pakartotinis K-sulankstymo kryžminis patvirtinimas
Šis metodas k kartų kartoja su skirtingais (atsitiktiniais) sulankstymo priskyrimais. Tikslas – sumažinti priklausomybę nuo vieno sulankstymo priskyrimo ir gauti stabilesnius įverčius.
Pavyzdžiui, „10 kartų pakartota 3 kartus“ reiškia 10 kartų atlikimą 3 kartus (iš viso 30 mokymų ir vertinimų).
6. Laiko eilučių kryžminis patvirtinimas
Laiko eilučių duomenims įprastas kryžminis patvirtinimas netinka, nes jis gali „nutekėti ateitį“ į mokymo procesą. Laiko eilutėse turi būti išsaugota laiko tvarka. Todėl tokie metodai kaip:
– Riedantis / slenkantis langas: mokymas atliekamas pradiniu laikotarpiu, po to testavimas kitame laikotarpyje, tada langas pasislenka.
– Išsiplečiantis langas: mokymo duomenų kiekis laikui bėgant didėja, o tada išbandomas kitu laikotarpiu.
Šis metodas tinka mėnesinių pardavimų prognozavimui, akcijų kainoms arba realaus laiko jutikliams.
Vertinimo metrikos kryžminiame patvirtinime
Kryžminis patvirtinimas yra tik vertinimo sistema; naudojami rodikliai priklauso nuo problemos tipo:
– Regresija: MSE, RMSE, MAE, R kvadratas.
– Klasifikacija: tikslumas, preciziškumas, atkūrimas, F1 balas, ROC-AUC.
– Nesubalansuota klasifikacija: ROC-AUC, PR-AUC (tikslumo atkūrimas), subalansuotas tikslumas.
Kryžminio patvirtinimo rezultatai paprastai pateikiami kaip metrinis vidurkis ir standartinis nuokrypis (pvz., tikslumas 0,89 ± 0,03). Standartinis nuokrypis padeda suprasti modelio stabilumą.
Kryžminis patvirtinimas modelio pasirinkimui ir parametrų derinimui
Vienas iš pagrindinių kryžminio patvirtinimo panaudojimo būdų yra modelio parinkimas ir hiperparametrų derinimas. Pavyzdžiui:
– k pasirinkimas k-NN.
– Pasirinkite maksimalų gylį sprendimų medyje.
– Nustatykite reguliarizacijos parametrus keteros/laso regresijoje.
– Nustatykite C ir gama SVM.
Geroji praktika leidžia derinimo procesą atlikti su mokymo duomenimis naudojant kryžminį patvirtinimą, o galutiniai bandymo duomenys laikomi atskirai galutiniam įvertinimui. Tai padeda išvengti „per didelio optimizmo“ dėl modelio per didelio pritaikymo vertinimo duomenims.
Griežtesnis metodas vadinamas įterptuoju kryžminiu patvirtinimu, kuris yra kryžminis patvirtinimas kryžminio patvirtinimo viduje: išorinis ciklas skirtas vertinimui, vidinis – derinimui. Šis metodas populiarus tyrimuose, nes suteikia nešališkesnius našumo įvertinimus.
Kryžminio patvirtinimo privalumai ir apribojimai
Pagrindiniai privalumai:
1. Pateikia stabilesnius našumo įvertinimus nei vieno padalijimo metodas.
2. Efektyviai naudokite duomenis, ypač kai duomenų rinkinys yra mažas.
3. Padeda pasirinkti bendresnį modelį ir sumažina per didelio pritaikymo riziką.
Keterbatasanas:
1. Skaičiavimo išlaidos didėja, kai mokymas kartojamas daug kartų.
2. Duomenų nutekėjimas vis tiek gali įvykti, jei išankstinis apdorojimas atliekamas netinkamai.
3. Grupuotiems duomenims (pavyzdžiui, pacientų duomenims, turintiems kelis įrašus) reikalingas specialus metodas, pvz., grupės k kartus, kad vienas asmuo nepasirodytų traukinyje ir teste tuo pačiu metu.
Gera kryžminio patvirtinimo naudojimo praktika
Kad vertinimas būtų pagrįstas, reikia laikytis kelių svarbių principų:
– Atlikite išankstinį apdorojimą (normalizavimą, imputavimą, požymių parinkimą) kiekvienoje sulankstymo sistemoje, o ne vieną kartą visiems duomenims. Priešingu atveju informacija iš bandomojo sulankstymo gali nutekėti į bendrą sulankstymo sistemą.
– Klasifikacijai su nesubalansuotomis klasėmis naudoti stratifikuotą k-karvės metodą.
– Laiko eilučių duomenims naudoti specialią schemą, kad nebūtų pažeista tvarka.
– Jei jūsų tikslas yra įvertinti galutinį modelio našumą prieš diegimą, atidėkite galutinį testų rinkinį.
Uždarymas
Kryžminis patvirtinimas yra esminė taikomosios statistikos ir mašininio mokymosi priemonė, skirta teisingiau ir patikimiau įvertinti modelio našumą. Naudodamas pakartotinį duomenų mainus, kryžminis patvirtinimas padeda sumažinti paklaidas, atsirandančias dėl bandymo metu padalijamo pasirinkimo, aptinka perteklinį pritaikymą ir palaiko modelio pasirinkimą bei hiperparametrų derinimą. Nors skaičiavimo sąnaudos yra didesnės, nauda dažnai atsiperka, ypač kai duomenų rinkinys yra mažas arba kai sprendimai, pagrįsti modelio rezultatais, turi reikšmingų pasekmių. Pasirinkę tinkamą kryžminio patvirtinimo tipą ir įgyvendindami geriausią praktiką, galime sukurti patikimesnius modelius, kurie yra paruošti naudoti su realaus pasaulio duomenimis.
