Dull Croes-ddilysu mewn Ystadegau
Mewn ystadegaeth a gwyddor data, un o'r heriau mwyaf yw sicrhau bod model nid yn unig yn perfformio'n dda ar y data y cafodd ei hyfforddi arno, ond hefyd yn perfformio'n dda ar ddata newydd, nas gwelwyd o'r blaen. Cyfeirir at y broblem hon yn aml fel cyffredinoli. Dyma lle mae croes-ddilysu yn dod i rym: dull gwerthuso modelau a gynlluniwyd i fesur perfformiad modelau yn decach ac yn fwy cyson nag un gwerthusiad gan ddefnyddio un set ddata.
Pam mae angen croes-ddilysu?
Pan fyddwn yn adeiladu model rhagfynegol—er enghraifft, model atchweliad i ragweld prisiau tai neu fodel dosbarthu i ganfod sbam—rydym fel arfer yn rhannu'r data yn ddwy ran: set hyfforddi a set brawf. Mae'r model yn cael ei hyfforddi ar y data hyfforddi ac yna'n cael ei werthuso ar y data prawf. Mae'r dull hwn yn syml, ond mae ganddo anfantais: gall canlyniadau'r gwerthusiad ddibynnu'n fawr ar sut mae'r data'n cael ei rannu. Os yw'r data prawf yn digwydd bod yn "hawdd," mae perfformiad yn ymddangos yn uchel; os yw'r data prawf yn digwydd bod yn "anodd," mae perfformiad yn ymddangos yn isel.
Mae croes-ddilysu yn lleihau dibyniaeth ar un set ddata drwy gynnal prosesau hyfforddi a phrofi lluosog ar wahanol setiau data ac yna cyfartaleddu'r canlyniadau. Mae hyn yn arwain at amcangyfrifon perfformiad sy'n fwy cynrychioliadol o amodau'r byd go iawn.
Cysyniadau Sylfaenol Croes-ddilysu
Hanfod croes-ddilysu yw rhannu'r data yn sawl rhan (plygiadau). Ym mhob iteriad, defnyddir rhai plygiadau i hyfforddi'r model, a defnyddir un plygiad i brofi'r model. Ailadroddir y broses hon nes bod pob plygiad wedi'i ddefnyddio fel data prawf. Yna cyfunir y sgoriau gwerthuso o bob iteriad (fel arfer gyda'r cymedr ac weithiau hefyd y gwyriad safonol) i roi trosolwg o berfformiad y model.
Er enghraifft, mewn dilysu croes k-blyg gyda k=5, mae'r data wedi'i rannu'n 5 plyg. Yr ailadrodd cyntaf: plyg 1 fel prawf, plyg 2–5 fel hyfforddiant. Yr ail ailadrodd: plyg 2 fel prawf, ac yn y blaen hyd at blyg 5.
Mathau Cyffredin o Groes-ddilysu
1. Dilysu Daliadau (Rhannu Trên-Prawf)
Er nad yw'n dechnegol yn groes-ddilysu "ailadroddus", mae'r dull dal allan yn aml yn cael ei ystyried yn gam dilysu sylfaenol. Mae'r data'n cael ei rannu unwaith, er enghraifft, 80% hyfforddiant a 20% profi. Y fantais yw ei fod yn gyflym ac yn syml, ond yr anfantais yw'r amrywiant uchel yn y canlyniadau oherwydd ei fod yn dibynnu ar un rhaniad.
Defnyddir y dull hwn fel arfer pan fo'r data yn fawr iawn, fel bod hyd yn oed un adran yn ddigon cynrychioliadol.
2. Dilysu Croes-Plygu K
Dyma'r ffurf fwyaf poblogaidd o groes-ddilysu. Yn aml, dewisir y paramedr k fel 5 neu 10 oherwydd ei fod yn cael ei ystyried i gydbwyso cost gyfrifiadurol ac ansawdd amcangyfrif.
Gormodedd:
– Defnyddio data yn fwy effeithlon (mae pob data yn dod yn rhan o hyfforddi a phrofi).
– Mae amcangyfrifon perfformiad yn fwy sefydlog na rhai sydd heb eu gweithredu.
Diffyg:
– Yn cymryd mwy o amser oherwydd ei fod yn hyfforddi'r model k gwaith.
– Os yw'r data yn fawr iawn neu os yw'r model yn gymhleth iawn, gall y costau cyfrifiadurol fod yn uchel.
3. Dilysu Croes Plyg-K Haenedig
Ar gyfer problemau dosbarthu, yn enwedig os yw'r dosbarthiadau'n anghytbwys (e.e., 90% negatif, 10% positif), gall plyg-k rheolaidd gynhyrchu plygiadau gyda dosraniadau dosbarth gwyrdroëdig. Mae plyg-k haenedig yn sicrhau bod cyfran y dosbarthiadau ym mhob plyg tua'r un fath â chyfran y dosbarthiadau yn y data gwreiddiol.
Mae hyn yn arbennig o bwysig wrth werthuso modelau canfod clefydau, twyll, neu achosion eraill lle mae'r dosbarth lleiafrifol yn fach.
4. Dilysu Croes Gadael Un Allan (LOOCV)
Yn LOOCV, mae nifer y plygiadau yn hafal i faint y data (k = n). Mae hyn yn golygu, ym mhob iteriad, mai dim ond un arsylwad sy'n dod yn ddata prawf, tra bod y gweddill yn dod yn ddata hyfforddi.
Gormodedd:
– Defnyddir bron yr holl ddata ar gyfer hyfforddiant ym mhob iteriad, felly gall y rhagfarn amcangyfrif fod yn fach.
Diffyg:
– Yn ddrud iawn o ran cyfrifiadura ar gyfer setiau data mawr.
– Gall amrywiant amcangyfrif fod yn uchel mewn rhai mathau o broblemau oherwydd mai dim ond un pwynt fesul iteriad yw'r set brawf.
Defnyddir LOOCV yn aml pan fo ychydig iawn o ddata, er enghraifft ymchwil gyda maint sampl bach.
5. Dilysu Croes Plygu-K Dro ar ôl tro
Mae'r dull hwn yn ailadrodd plyg-k sawl gwaith gydag aseiniadau plyg (ar hap) gwahanol. Y nod yw lleihau dibyniaeth ar aseiniad plyg sengl a chynhyrchu amcangyfrifon mwy sefydlog.
Er enghraifft, mae “10 gwaith wedi’i ailadrodd 3 gwaith” yn golygu rhedeg 10 gwaith 3 gwaith (cyfanswm o 30 hyfforddiant a gwerthusiad).
6. Dilysu Croes Cyfres Amser
Ar gyfer data cyfres amser, nid yw croes-ddilysu confensiynol yn addas oherwydd gall "ollwng y dyfodol" i'r broses hyfforddi. Mewn cyfres amser, rhaid cadw'r drefn amserol. Felly, mae dulliau fel:
– Ffenestr Rholio/Llithrig: hyfforddi yn y cyfnod cychwynnol yna profi yn y cyfnod nesaf, yna mae'r ffenestr yn symud.
– Ffenestr sy'n ehangu: mae data hyfforddi yn cynyddu dros amser, yna'n cael ei brofi yn y cyfnod nesaf.
Mae'r dull hwn yn berthnasol ar gyfer rhagfynegiadau gwerthiant misol, prisiau stoc, neu synwyryddion amser real.
Metrigau Gwerthuso mewn Croes-ddilysu
Dim ond fframwaith gwerthuso yw croes-ddilysu; mae'r metrigau a ddefnyddir yn dibynnu ar y math o broblem:
– Atchweliad: MSE, RMSE, MAE, R-sgwâr.
– Dosbarthiad: cywirdeb, manylder, cofio, sgôr F1, ROC-AUC.
– Dosbarthiad anghytbwys: ROC-AUC, PR-AUC (adalw manwl gywir), cywirdeb cytbwys.
Fel arfer, adroddir canlyniadau croes-ddilysu fel cymedr metrig a gwyriad safonol (e.e., cywirdeb 0,89 ± 0,03). Mae'r gwyriad safonol yn helpu i ddeall sefydlogrwydd y model.
Croes-ddilysu ar gyfer Dewis Model a Thiwnio Paramedr
Un o brif ddefnyddiau croes-ddilysu yw dewis model a thiwnio hyperbaramedrau. Er enghraifft:
– Dewis k yn k-NN.
– Dewiswch y dyfnder mwyaf yn y goeden benderfyniadau.
– Pennu'r paramedrau rheoleiddio mewn atchweliad crib/lasso.
– Pennu C a gama yn SVM.
Mewn arfer da, perfformir y broses diwnio ar y data hyfforddi gan ddefnyddio croes-ddilysu, tra bod y data prawf terfynol yn cael ei gadw ar wahân ar gyfer gwerthusiad terfynol. Mae hyn yn atal "gor-optimistiaeth" oherwydd bod y model yn cael ei or-ffitio i'r data gwerthuso.
Gelwir dull mwy trylwyr yn groes-ddilysu nythu, sef croes-ddilysu o fewn croes-ddilysu: mae'r ddolen allanol ar gyfer gwerthuso, mae'r ddolen fewnol ar gyfer tiwnio. Mae hyn yn boblogaidd mewn ymchwil oherwydd ei fod yn darparu amcangyfrifon perfformiad mwy diduedd.
Manteision a Chyfyngiadau Croes-ddilysu
Prif fanteision:
1. Yn darparu amcangyfrifon perfformiad mwy sefydlog nag adran sengl.
2. Defnyddio data yn effeithlon, yn enwedig pan fo'r set ddata yn fach.
3. Yn helpu i ddewis model mwy cyffredinol ac yn lleihau'r risg o or-ffitio.
Cyfyngiadau:
1. Mae costau cyfrifiadurol yn cynyddu wrth i hyfforddiant gael ei ailadrodd sawl gwaith.
2. Gall gollyngiadau data ddigwydd o hyd os na chaiff prosesu ymlaen llaw ei wneud yn iawn.
3. Ar gyfer data wedi'i grwpio (er enghraifft, data cleifion sydd â sawl cofnod), mae angen dull arbennig, fel plyg-k grŵp, fel nad yw un unigolyn yn ymddangos yn y trên a'r prawf ar yr un pryd.
Arferion Da wrth Ddefnyddio Croes-ddilysu
Er mwyn i werthusiad fod yn ddilys, rhaid dilyn sawl egwyddor bwysig:
– Perfformio rhagbrosesu (normaleiddio, priodoli, dewis nodweddion) o fewn pob plyg, nid unwaith ar gyfer y data cyfan. Fel arall, gallai gwybodaeth o'r plyg prawf ollwng i mewn i blyg y trên.
– Defnyddiwch k-blyg haenedig ar gyfer dosbarthu gyda dosbarthiadau anghytbwys.
– Defnyddiwch gynllun arbennig ar gyfer data cyfres amser fel nad yw'r drefn yn cael ei thorri.
– Rhowch y set brawf derfynol o’r neilltu os yw eich nod yw asesu perfformiad terfynol y model cyn ei ddefnyddio.
Cau
Mae croes-ddilysu yn offeryn sylfaenol mewn ystadegau cymhwysol a dysgu peirianyddol ar gyfer gwerthuso perfformiad modelau yn decach ac yn fwy cadarn. Drwy ddefnyddio rhannu data dro ar ôl tro, mae croes-ddilysu yn helpu i leihau rhagfarn a achosir gan ddetholiad hollt prawf trên, yn canfod gor-ffitio, ac yn cefnogi dewis modelau a thiwnio hyperbaramedrau. Er bod y gost gyfrifiadurol yn uwch, mae'r manteision yn aml yn werth chweil, yn enwedig pan fo'r set ddata yn fach neu pan fo penderfyniadau yn seiliedig ar ganlyniadau'r model yn cael canlyniadau sylweddol. Drwy ddewis y math cywir o groes-ddilysu a gweithredu arferion gorau, gallwn adeiladu modelau mwy dibynadwy sy'n barod i'w defnyddio ar ddata byd go iawn.
