Metotia o le Fa'amaoniga Fa'atasi i Fuainumera
I fuainumera ma le saienisi o faʻamaumauga, o se tasi o luʻitau tetele o le faʻamautinoaina lea e le gata ina lelei le faʻatinoga o se faʻataʻitaʻiga i faʻamaumauga na aʻoaʻoina ai, ae faʻapea foʻi ona lelei le faʻatinoga i faʻamaumauga fou e leʻi vaʻaia muamua. O lenei faʻafitauli e masani ona taʻua o le faʻalauteleina. O iinei e sau ai le faʻamaoniga faʻatasi: o se metotia o le iloiloga o le faʻataʻitaʻiga ua mamanuina e fuaina ai le faʻatinoga o le faʻataʻitaʻiga i se auala sili atu ona tonu ma tutusa nai lo se iloiloga e tasi e faʻaaoga ai se seti faʻamaumauga e tasi.
Aiseā e Manaʻomia ai le Faʻamaoniga Faʻatasi?
A tatou fausia se faʻataʻitaʻiga vavalo—mo se faʻataʻitaʻiga, o se faʻataʻitaʻiga regression e vavalo ai tau o fale poʻo se faʻataʻitaʻiga faʻavasega e iloa ai spam—e masani ona tatou vaevaeina faʻamaumauga i ni vaega se lua: o se seti aʻoaʻoga ma se seti suega. O le faʻataʻitaʻiga e aʻoaʻoina i faʻamaumauga aʻoaʻoga ona iloiloina lea i faʻamaumauga o suega. O lenei auala e faigofie, ae e iai sona faʻaletonu: o taunuuga o le iloiloga e mafai ona faʻalagolago tele i le auala e vaevaeina ai faʻamaumauga. Afai e "faigofie" faʻamaumauga o suega, e foliga maualuga le faʻatinoga; afai e "faigata" faʻamaumauga o suega, e foliga maualalo le faʻatinoga.
O le fa'amaoniga fa'atasi e fa'aitiitia ai le fa'alagolago i se seti fa'amaumauga e tasi e ala i le fa'atinoina o le tele o fa'agasologa o a'oa'oga ma fa'ata'ita'iga i seti fa'amaumauga eseese ona fa'atatauina lea o taunu'uga. O lenei mea e mafua ai ni fa'atatauga o le fa'atinoga e sili atu ona fa'atusalia ai tulaga moni o le lalolagi.
Manatu Faavae o le Faamaoniga Fa'atasi
O le uiga autū o le fa'amaoniga fa'atasi o le vaevaeina lea o fa'amaumauga i ni vaega se tele (folds). I fa'asologa ta'itasi, e fa'aaogaina nisi o fa'asologa e a'oa'o ai le fa'ata'ita'iga, ma e fa'aaogaina le tasi fa'asologa e fa'ata'ita'i ai le fa'ata'ita'iga. E toe faia lea faiga se'ia o'o ina fa'aaogaina fa'asologa ta'itasi o ni fa'amaumauga fa'ata'ita'i. Ona tu'ufa'atasia lea o togi o iloiloga mai fa'asologa ta'itasi (e masani lava ma le averesi ma o nisi taimi fo'i ma le tulaga fa'ata'ita'i ) e maua ai se aotelega o le fa'atinoga o le fa'ata'ita'iga.
Mo se faʻataʻitaʻiga, i le k-fold cross validation ma le k=5, e vaevaeina faʻamaumauga i ni fold e 5. O le uluaʻi faʻasologa: gaugau le 1 o se suega, gaugau le 2–5 o se aʻoaʻoga. O le lona lua o faʻasologa: gaugau le 2 o se suega, ma faʻapena seʻia oʻo i le gaugau le 5.
Ituaiga Masani o le Fa'amaoniga Fa'atasi
1. Fa'amaoniga o le Taofi (Vaevaega o le Toleniga-Su'ega)
E ui e le o se fa'amaoniga fa'asolosolo (cross-validation) i se tulaga fa'atekinolosi, ae o le metotia o le taofia (holdout) e masani ona manatu o se la'asaga fa'avae o le fa'amaoniga. E vaevaeina fa'atasi fa'amaumauga, mo se fa'ata'ita'iga, 80% o a'oa'oga ma le 20% o su'ega. O le lelei o le vave ma le faigofie, ae o le le lelei o le tele o eseesega i taunu'uga ona e fa'alagolago i le vaevaeina e tasi.
E masani ona faʻaaogaina lenei metotia pe a tele naua faʻamaumauga, o lea e lava ai le faʻatusalia o le tasi vaevaega.
2. Fa'amaoniga o le K-Fold Cross
O le faiga sili lea ona lauiloa o le fa'amaoniga fa'atasi. E masani ona filifilia le parakalafa k o le 5 po'o le 10 aua e manatu e paleni ai le tau fa'akomepiuta ma le lelei o le fa'atatauga.
Fa'atele:
– Fa'aaogāina o fa'amaumauga i se auala sili atu ona lelei (e avea fa'amaumauga ta'itasi ma vaega o le fa'ata'ita'i ma le fa'ata'ita'i).
– E sili atu ona mautu fa'atatauga o le fa'atinoga nai lo le fa'atuai.
le lava:
– E umi se taimi e alu ai auā e k taimi e toleni ai le faʻataʻitaʻiga.
– Afai e matuā telē lava faʻamaumauga pe matuā lavelave foʻi le faʻataʻitaʻiga, e mafai ona maualuga le tau o le faʻaktipaina.
3. Fa'amaoniga o le Stratified K-Fold Cross
Mo fa'afitauli o le fa'avasegaga, aemaise lava pe afai e le paleni vasega (e pei o le 90% leaga, 10% lelei), e mafai e le k-fold masani ona maua ai ni gaugau ma ni tufatufaga vasega fa'api'opi'o. O le stratified k-fold e fa'amautinoa ai o le fua faatatau o vasega i gaugau ta'itasi e tutusa ma le fua faatatau o vasega i fa'amatalaga muamua.
E matuā tāua tele lenei mea i le iloiloina o faʻataʻitaʻiga e iloa ai faʻamaʻi, faiga taufaasese, poʻo isi mataupu e toʻaitiiti ai le vasega toʻaitiiti.
4. Fa'amaoniga Fa'atasi e Tu'u-Tasi-Out (LOOCV)
I le LOOCV, o le aofaʻi o gaugau e tutusa ma le aofaʻi o faʻamaumauga (k = n). O lona uiga i faʻataʻitaʻiga taʻitasi, e naʻo le tasi le matauga e avea ma faʻamaumauga o suʻega, aʻo le isi vaega e avea ma faʻamaumauga o aʻoaʻoga.
Fa'atele:
– Toetoe lava o faʻamaumauga uma e faʻaaogaina mo aʻoaʻoga i taimi taʻitasi e faia ai, o lea e mafai ai ona laʻititi le faʻaituau o le faʻatatauga.
le lava:
– E matuā taugata tele le fa'aktipiuta mo fa'amaumauga tetele.
– E mafai ona maualuga le eseesega o faʻatatauga i nisi ituaiga o faʻafitauli ona e naʻo le tasi le 'ai' o le seti o suʻega i le faʻataʻitaʻiga.
E masani ona faʻaaogaina le LOOCV pe a matua laʻititi lava faʻamaumauga, mo se faʻataʻitaʻiga o suʻesuʻega e laʻititi le tele o faʻataʻitaʻiga.
5. Fa'amaoniga Toe Fa'alua o le K-Fold Cross
O lenei metotia e toe fai ai le k-fold i ni nai taimi ma ni tofiga eseese (fa'afuase'i) o le gaugau. O le sini ia fa'aitiitia le fa'alagolago i le tofiga e tasi o le gaugau ma maua ai ni fa'atatauga e sili atu ona mautu.
Mo se faʻataʻitaʻiga, o le “10-fold repeated 3 times” o lona uiga o le tamoʻe 10-fold 3 times (o le aofaʻi e 30 aʻoaʻoga ma iloiloga).
6. Fa'amaoniga o le Fa'asologa o Taimi
Mo faʻamaumauga o le faasologa o taimi, e le talafeagai le faʻamaoniga masani ona e mafai ona "faʻasalalauina le lumanaʻi" i totonu o le faagasologa o aʻoaʻoga. I le faasologa o taimi, e tatau ona faʻasaoina le faasologa o taimi. O le mea lea, o auala e pei o:
– Fa'amalama fa'ata'avalevale/fa'ase'e: fa'ata'ita'i i le vaitaimi muamua ona fa'ata'ita'i lea i le vaitaimi e soso'o ai, ona sui lea o le fa'amalama.
– Fa'alauteleina o le fa'amalama: e fa'ateleina fa'amaumauga o a'oa'oga i le aluga o taimi, ona fa'ata'ita'iina lea i le isi vaitaimi.
E talafeagai lenei metotia mo valo'aga o fa'atauga fa'alemasina, tau o oloa, po'o masini fa'alogo i le taimi moni.
Fua Fa'atatau o Iloiloga i le Fa'amaoniga Fa'atasi
O le fa'amaoniga fa'atasi ua na'o se fa'avae iloiloga; o fua fa'atatau e fa'aaogaina e fa'alagolago i le ituaiga o fa'afitauli:
– Toe fa'afo'isia: MSE, RMSE, MAE, R-squared.
– Fa'avasegaga: sa'o, tonu, toe manatua, sikoa F1, ROC-AUC.
– Fa'avasegaga lē paleni: ROC-AUC, PR-AUC (toe manatua lelei), sa'o paleni.
O taunuuga o le fa'amaoniga fa'atasi e masani ona lipotia mai o se averesi fua fa'atatau ma le fa'asologa masani (e.g., sa'o 0,89 ± 0,03). O le fa'asologa masani e fesoasoani e malamalama ai i le mautu o le fa'ata'ita'iga.
Fa'amaoniga Fa'atasi mo le Filifiliga o Fa'ata'ita'iga ma le Fa'atulagaina o Parameter
O se tasi o faʻaoga autū o le faʻamaoniga faʻatasi o le filifilia lea o le faʻataʻitaʻiga ma le faʻatulagaina o le hyperparameter. Mo se faʻataʻitaʻiga:
– Filifilia o le k i le k-NN.
– Filifili le loloto aupito maualuga i le la'au fa'ai'uga.
– Fuafua fa'asologa o le fa'atulagaina (regularization parameters) i le ridge/lasso regression.
– Fuafua le C ma le gamma i le SVM.
I le faiga lelei, o le faagasologa o le fetuunaiga e faatinoina i luga o faamatalaga o aoaoga e faaaoga ai le faamaoniga o isi mea, ae o faamatalaga mulimuli o suega e teuina eseese mo le iloiloga mulimuli. O lenei mea e puipuia ai le "soona faamoemoe" ona o le soona fetaui o le faataitaiga ma faamatalaga o iloiloga.
O se auala e sili atu ona faigata e ta'ua o le fa'amaoniaina fa'atasi (nested cross-validation), o le fa'amaoniga fa'atasi lea i totonu o le fa'amaoniga fa'atasi: o le matasele i fafo e mo le iloiloga, o le matasele i totonu e mo le fa'atulagaina. E lauiloa lenei mea i su'esu'ega ona e maua ai ni fa'atatauga fa'atino e sili atu ona le fa'aitu'au.
Lelei ma Tapula'a o le Fa'amaoniga Fa'atasi
Fa'amanuiaga autu:
1. E sili atu ona mautu le fa'atatauga o le fa'atinoga nai lo le vaevaega e tasi.
2. Faaaoga lelei faʻamaumauga, aemaise lava pe a laʻititi le seti o faʻamaumauga.
3. Fesoasoani e filifili se faʻataʻitaʻiga lautele ma faʻaitiitia ai le lamatiaga o le soona fetaui.
Keterbatasan:
1. E fa'ateleina tau o le komepiuta pe a faia soo a'oa'oga.
2. E mafai lava ona tupu ni fa'amaumauga e le mafai ona tafe pe afai e le faia lelei le fa'agasologa muamua.
3. Mo faʻamaumauga ua faʻaputuina (mo se faʻataʻitaʻiga, faʻamaumauga a gasegase e tele faʻamaumauga), e manaʻomia se metotia faʻapitoa, e pei o le group k-fold, ina ia ʻaua neʻi aliali mai se tagata e toʻatasi i le faasologa ma le suega i le taimi e tasi.
Faiga Lelei i le Faʻaaogaina o le Faʻamaoniga Faʻatasi
Ina ia aoga se iloiloga, e tatau ona mulimulitaʻi i ni nai mataupu faavae taua:
– Fa'atino le fa'agasologa muamua (fa'atulagaina, fa'atusatusaga, filifiliga o foliga) i totonu o fa'amaumauga ta'itasi, ae le na'o le fa'atasi mo fa'amaumauga uma. A leai, e ono sosolo atu fa'amatalaga mai le fa'amaumauga fa'ata'ita'i i totonu o le fa'amaumauga fa'asolosolo.
– Faaaoga le stratified k-fold mo le fa'avasegaga ma vasega e le paleni.
– Faaaoga se fuafuaga faapitoa mo faamatalaga o faasologa taimi ina ia aua ne’i solia le faasologa.
– Tu'u ese le seti o suega mulimuli pe afai o lau sini o le iloiloina lea o le fa'atinoga mulimuli o le fa'ata'ita'iga a'o le'i fa'apipi'iina.
Fa'ato'a
O le fa'amaoniga fa'atasi o se meafaigaluega taua i fuainumera fa'aoga ma le a'oa'oina o masini mo le iloiloina o le fa'atinoga o le fa'ata'ita'iga i se auala sili atu ona tonu ma malosi. I le fa'aaogaina o le fa'asoa fa'atasi o fa'amatalaga, e fesoasoani le fa'amaoniga fa'atasi e fa'aitiitia ai le fa'aitu'au e mafua mai i le filifiliga vaeluaina o su'ega i le nofoaafi, iloa ai le soona fetaui, ma lagolagoina le filifilia o fa'ata'ita'iga ma le fa'atulagaina o hyperparameter. E ui o le tau o le fa'akomepiuta e maualuga atu, ae o fa'amanuiaga e masani ona aoga, aemaise lava pe a la'ititi le seti o fa'amaumauga pe a iai ni taunuuga taua o fa'ai'uga e fa'avae i luga o taunu'uga o le fa'ata'ita'iga. I le filifilia o le ituaiga sa'o o le fa'amaoniga fa'atasi ma le fa'atinoina o faiga sili ona lelei, e mafai ona tatou fausia ni fa'ata'ita'iga e sili atu ona fa'atuatuaina ua sauni e fa'aaoga i fa'amatalaga moni.
