Fomba fanamarinana miampita amin'ny statistika
Ao amin'ny statistika sy ny siansa momba ny angon-drakitra, ny iray amin'ireo fanamby lehibe indrindra dia ny fiantohana fa tsy vitan'ny hoe miasa tsara amin'ny angon-drakitra izay nampiofanina azy ny modely iray, fa miasa tsara amin'ny angon-drakitra vaovao tsy mbola hita teo aloha ihany koa. Matetika io olana io no antsoina hoe fanalefahana. Eto no idiran'ny fanamarinana mifanipaka: fomba fanombanana modely natao handrefesana ny fahombiazan'ny modely amin'ny fomba ara-drariny sy tsy miovaova kokoa noho ny fanombanana tokana mampiasa andiana angon-drakitra tokana.
Nahoana no ilaina ny fanamarinana mifanesy?
Rehefa manorina môdely faminaniana isika—ohatra, môdely regression mba haminavina ny vidin-trano na môdely fanasokajiana mba hamantarana spam—dia mazàna mizara ny angon-drakitra ho roa isika: andiana fiofanana sy andiana fitsapana. Ampiofanina amin'ny angon-drakitra fiofanana ny môdely ary avy eo tombanana amin'ny angon-drakitra fitsapana. Tsotra ity fomba fiasa ity, saingy misy lesoka: ny valin'ny fanombanana dia mety hiankina betsaka amin'ny fomba fizarana ny angon-drakitra. Raha toa ka "mora" ny angon-drakitra fitsapana, dia toa avo ny fahombiazana; raha toa ka "sarotra" ny angon-drakitra fitsapana, dia toa ambany ny fahombiazana.
Mampihena ny fiankinan-doha amin'ny angon-drakitra tokana ny fanamarinana miampita amin'ny alàlan'ny fanaovana dingana fiofanana sy fitsapana maromaro amin'ny angon-drakitra samihafa ary avy eo dia manao salan'isa ny valiny. Izany dia miteraka tombana momba ny zava-bita izay maneho kokoa ny toe-javatra tena misy.
Hevitra fototra momba ny fanamarinana mifanipaka
Ny votoatin'ny fanamarinana miampita dia ny fizarana ny angona ho faritra maromaro (valo). Isaky ny famerenana, dia misy vala sasany ampiasaina hampiofanana ny modely, ary vala iray ampiasaina hitsapana ny modely. Averina io dingana io mandra-pampiasana ny vala tsirairay ho angona fitsapana. Avy eo dia ampiarahina (matetika amin'ny salan'isa ary indraindray koa ny fivilian-dàlana mahazatra) ny isa fanombanana avy amin'ny famerenana tsirairay mba hanomezana topimaso momba ny fahombiazan'ny modely.
Ohatra, amin'ny fanamarinana k-fold cross miaraka amin'ny k=5, dia zaraina ho fold 5 ny angona. Ny dingana voalohany: aforeto ny 1 ho fitsapana, aforeto ny 2–5 ho fiofanana. Ny dingana faharoa: aforeto ny 2 ho fitsapana, ary toy izany hatrany hatramin'ny fold 5.
Karazana fanamarinana iraisana mahazatra
1. Fanamarinana ny fiatoana (Fisarahana amin'ny fitsapana)
Na dia tsy fanamarinana miverimberina ara-teknika aza, ny fomba "holdout" dia matetika heverina ho dingana fototra amin'ny fanamarinana. Mizara indray mandeha ny angon-drakitra, ohatra, fiofanana 80% sy fitsapana 20%. Ny tombony dia ny haingana sy tsotra, fa ny fatiantoka kosa dia ny fiovaovan'ny valiny be loatra satria miankina amin'ny fizarana tokana.
Matetika ity fomba ity dia ampiasaina rehefa lehibe dia lehibe ny angon-drakitra, ka na dia fizarana iray aza dia ampy hanehoana izany.
2. Fanamarinana ny K-Fold Cross
Ity no endrika fanamarinana mifandimby malaza indrindra. Matetika ny masontsivana k dia fidina ho 5 na 10 satria heverina fa mandanjalanja ny vidin'ny kajy sy ny kalitaon'ny tombana.
tafahoatra:
– Fampiasana angona amin'ny fomba mahomby kokoa (lasa anisan'ny fiofanana sy fitsapana ny angona tsirairay).
– Marin-toerana kokoa ny tombana momba ny zava-bita raha oharina amin'ny fiandrasana.
Kekurangan:
– Maharitra kokoa satria mampiofana ny modely in-k.
– Raha lehibe dia lehibe ny angon-drakitra na sarotra dia sarotra ny modely, dia mety ho lafo ny fandaniana amin'ny kajy.
3. Fanamarinana ny K-Fold Cross Stratified
Ho an'ny olana amin'ny fanasokajiana, indrindra raha tsy mifandanja ny kilasy (ohatra, 90% ratsy, 10% tsara), ny k-fold mahazatra dia mety hiteraka vala misy fizarana kilasy mitongilana. Ny k-fold voasokajy dia miantoka fa ny isan'ny kilasy ao amin'ny vala tsirairay dia mitovy amin'ny isan'ny kilasy ao amin'ny angon-drakitra tany am-boalohany.
Zava-dehibe indrindra izany amin'ny fanombanana ireo maodely famantarana aretina, hosoka, na tranga hafa izay vitsy ny saranga vitsy an'isa.
4. Fanamarinana Mifamatotra amin'ny Avela-Iray-Out (LOOCV)
Ao amin'ny LOOCV, ny isan'ny vala dia mitovy amin'ny habetsaky ny angona (k = n). Midika izany fa amin'ny iteration tsirairay, ny fandinihana iray ihany no lasa angona fitsapana, raha ny ambiny kosa lasa angona fiofanana.
tafahoatra:
– Saika ny angon-drakitra rehetra no ampiasaina amin'ny fiofanana isaky ny dingana, noho izany dia mety ho kely ny fitongilanan'ny tombana.
Kekurangan:
– Lafo be ny kajy ho an'ny angon-drakitra lehibe.
– Mety ho avo ny fiovaovan'ny tombana amin'ny karazana olana sasany satria teboka iray isaky ny famerenana ihany ny andiana fitsapana.
Matetika ampiasaina ny LOOCV rehefa vitsy dia vitsy ny angon-drakitra, ohatra ny fikarohana misy santionany kely.
5. Fanamarinana miverimberina amin'ny K-Fold Cross
Mamerina imbetsaka ny k-fold ity fomba ity miaraka amin'ny fanendrena vala samihafa (kisendrasendra). Ny tanjona dia ny hampihena ny fiankinan-doha amin'ny fanendrena vala tokana ary hamokatra tombana marin-toerana kokoa.
Ohatra, ny "averina in-10 in-3" dia midika hoe mihazakazaka in-10 in-3 (mitentina fiofanana sy fanombanana 30).
6. Fanamarinana Mifamatotra amin'ny Andian-potoana
Ho an'ny angon-drakitra mitohy ara-potoana, ny fanamarinana miampita mahazatra dia tsy mety satria mety "hampiditra ny ho avy" ao anatin'ny fizotran'ny fiofanana. Amin'ny andian-dahatsoratra mitohy ara-potoana, ny filaharan'ny fotoana dia tsy maintsy tazonina. Noho izany, ny fomba fiasa toy ny:
– Varavarankely mihodina/mihetsiketsika: ampiofano amin'ny fe-potoana voalohany dia andramo amin'ny fe-potoana manaraka, avy eo dia miova ny varavarankely.
– Varavarankely mivelatra: mitombo rehefa mandeha ny fotoana ny angon-drakitra momba ny fiofanana, avy eo andramana amin'ny fe-potoana manaraka.
Ity fomba ity dia ilaina amin'ny vinavinan'ny varotra isam-bolana, ny vidin'ny tahiry, na ny fitaovana fijerena amin'ny fotoana tena izy.
Metrika fanombanana amin'ny fanamarinana mifanipaka
Rafitra fanombanana fotsiny ihany ny fanamarinana mifanipaka; miankina amin'ny karazana olana ny metrika ampiasaina:
– Fihemorana: MSE, RMSE, MAE, R-squared.
– Fanasokajiana: fahamarinana, fahitsiana, fitadidiana, isa F1, ROC-AUC.
– Fanasokajiana tsy voalanjalanja: ROC-AUC, PR-AUC (fahatsiarovana marina tsara), fahamarinan-toerana voalanjalanja.
Ny valin'ny fanamarinana miampita dia mazàna taterina ho salan'isa metrika sy fivilian-dàlana mahazatra (ohatra, fahamarinan'ny 0,89 ± 0,03). Ny fivilian-dàlana mahazatra dia manampy amin'ny fahatakarana ny fahamarinan'ny modely.
Fanamarinana Mifampitohy ho an'ny Fifantenana Modely sy ny Fanitsiana Paramètre
Ny iray amin'ireo fampiasana lehibe ny fanamarinana mifandimby dia ny fisafidianana modely sy ny fanitsiana hyperparameter. Ohatra:
– Misafidy k ao amin'ny k-NN.
– Fidio ny halaliny ambony indrindra ao amin'ny hazo fanapahan-kevitra.
– Farito ireo masontsivana regularization ao amin'ny ridge/lasso regression.
– Farito ny C sy ny gamma ao amin'ny SVM.
Amin'ny fomba fanao tsara, ny dingana fanitsiana dia tanterahina amin'ny angon-drakitra fampiofanana amin'ny alàlan'ny fanamarinana mifandimby, raha ny angon-drakitra fitsapana farany kosa dia tazonina misaraka ho an'ny fanombanana farany. Izany dia misoroka ny "fanantenana tafahoatra" noho ny fampifanarahana tafahoatra ny modely amin'ny angon-drakitra fanombanana.
Ny fomba fiasa henjana kokoa dia antsoina hoe "nested cross-validation", izay fanamarinana mifanindry ao anatin'ny fanamarinana mifanindry: ny tadivavarana ivelany dia ho an'ny fanombanana, ny tadivavarana anatiny kosa ho an'ny fanitsiana. Malaza amin'ny fikarohana izany satria manome tombana momba ny fahombiazana tsy mitanila kokoa.
Tombony sy fetran'ny fanamarinana mifanipaka
Tombony lehibe:
1. Manome tombana momba ny fahombiazana azo antoka kokoa noho ny fizarana tokana.
2. Ampiasao amim-pahombiazana ny angon-drakitra, indrindra rehefa kely ny angon-drakitra.
3. Manampy amin'ny fisafidianana modely ankapobeny kokoa ary mampihena ny mety hisian'ny fametrahana mihoatra ny tokony ho izy.
Famerana:
1. Mitombo ny fandaniana amin'ny kajy rehefa averimberina imbetsaka ny fiofanana.
2. Mety mbola hitranga ny fivoahan'ny angona raha tsy vita araka ny tokony ho izy ny fanodinana mialoha.
3. Ho an'ny angon-drakitra voangona (ohatra, angon-drakitra momba ny marary izay misy firaketana maromaro), dia ilaina ny fomba manokana, toy ny "group k-fold", mba tsy hisy olona iray hiseho miaraka ao amin'ny "train" sy ny fitsapana.
Fomba fanao tsara amin'ny fampiasana fanamarinana mifanipaka
Mba hahazoana antoka fa marina ny fanombanana dia tsy maintsy arahina fitsipika manan-danja maromaro:
– Manaova fanodinana mialoha (fanaraha-maso, fampidirana, fisafidianana endri-javatra) ao anatin'ny vala tsirairay, fa tsy indray mandeha monja ho an'ny angona manontolo. Raha tsy izany, mety hiparitaka ao amin'ny vala fiaran-dalamby ny fampahalalana avy amin'ny vala fitsapana.
– Ampiasao ny k-fold misy sosona maromaro ho an'ny fanasokajiana misy kilasy tsy mifandanja.
– Mampiasà tetika manokana ho an'ny angon-drakitra momba ny andian-tantara mba tsy ho voahitsakitsaka ny filaharany.
– Atokana ny andiana fitsapana farany raha ny tanjonao dia ny hanombana ny fahombiazan'ny modely farany alohan'ny fametrahana azy.
Penutup
Fitaovana fototra amin'ny statistika ampiharina sy ny fianarana milina ny fanamarinana miampita mba hanombanana ny fahombiazan'ny modely amin'ny fomba ara-drariny sy matanjaka kokoa. Amin'ny fampiasana fizarana angona miverimberina, ny fanamarinana miampita dia manampy amin'ny fampihenana ny fitongilanana vokatry ny fisafidianana ny fizarana amin'ny alalan'ny fitsapana, mamantatra ny fihoaram-pefy, ary manohana ny fisafidianana modely sy ny fanitsiana hyperparameter. Na dia ambony aza ny vidin'ny kajy, dia matetika mendrika izany ny tombony azo, indrindra rehefa kely ny angon-drakitra na rehefa misy vokany lehibe ny fanapahan-kevitra mifototra amin'ny valin'ny modely. Amin'ny fisafidianana ny karazana fanamarinana miampita mety sy ny fampiharana ny fomba fanao tsara indrindra, dia afaka manorina modely azo itokisana kokoa isika izay vonona hampiasaina amin'ny angon-drakitra tena izy.
