Modh Dearbhaidh Thar-chrìochan ann an Staitistig
Ann an staitistig agus saidheans dàta, is e aon de na dùbhlain as motha dèanamh cinnteach nach e a-mhàin gu bheil modail ag obair gu math air an dàta air an deach a thrèanadh, ach cuideachd ag obair gu math air dàta ùr, nach fhacas roimhe. Canar coitcheannachadh ris an duilgheadas seo gu tric. Seo far a bheil dearbhadh-croise a’ tighinn a-steach: dòigh measaidh modail a chaidh a dhealbhadh gus coileanadh modail a thomhas nas cothromaiche agus nas cunbhalaiche na aon mheasadh a’ cleachdadh aon sheata dàta.
Carson a tha feum air dearbhadh-croise?
Nuair a thogas sinn modail ro-innseach—mar eisimpleir, modail ath-tharraing gus prìsean thaighean a ro-innse no modail seòrsachaidh gus spama a lorg—mar as trice bidh sinn a’ roinn an dàta ann an dà phàirt: seata trèanaidh agus seata deuchainn. Tha am modail air a thrèanadh air an dàta trèanaidh agus an uairsin air a mheasadh air an dàta deuchainn. Tha an dòigh-obrach seo sìmplidh, ach tha eas-bhuannachd ann: faodaidh toraidhean a’ mheasaidh a bhith an urra gu mòr air mar a tha an dàta air a roinn. Ma thachras gu bheil an dàta deuchainn “furasta”, tha coltas gu bheil coileanadh àrd; ma thachras gu bheil an dàta deuchainn “duilich”, tha coltas gu bheil coileanadh ìosal.
Bidh dearbhadh-crois a’ lughdachadh eisimeileachd air aon sheata dàta le bhith a’ dèanamh iomadh pròiseas trèanaidh is deuchainn air diofar sheataichean dàta agus an uairsin a’ dèanamh cuibheasachd de na toraidhean. Bidh seo a’ leantainn gu tuairmsean coileanaidh a tha nas riochdaiche de shuidheachaidhean an t-saoghail fhìor.
Bun-bheachdan Dearbhaidh Thar-chrìochan
Is e prìomh adhbhar dearbhaidh-crois an dàta a roinn ann an grunn phàirtean (pasgadh). Aig gach ath-aithris, thèid cuid de phasgadh a chleachdadh gus am modail a thrèanadh, agus thèid aon phasgadh a chleachdadh gus am modail a dhearbhadh. Thèid am pròiseas seo ath-aithris gus an tèid gach pasgadh a chleachdadh mar dhàta deuchainn. An uairsin thèid na sgòran measaidh bho gach ath-aithris a chur còmhla (mar as trice leis a’ chuibheasachd agus uaireannan cuideachd an claonadh àbhaisteach) gus sealladh farsaing a thoirt seachad air coileanadh a’ mhodail.
Mar eisimpleir, ann an dearbhadh-crois k-fhillte le k=5, tha an dàta air a roinn ann an 5 filltean. A’ chiad ath-aithris: fillte 1 mar dheuchainn, filltean 2–5 mar thrèanadh. An dàrna ath-aithris: fillte 2 mar dheuchainn, agus mar sin air adhart suas gu fillte 5.
Seòrsachan Cumanta de Dhearbhachadh Crois
1. Dearbhadh Holdout (Sgoltadh Trèana-Deuchainn)
Ged nach e dearbhadh-croise "ath-aithrisichte" a th' ann gu teicnigeach, thathas gu tric a' meas an dòigh-obrach "holdout" mar cheum dearbhaidh bunaiteach. Tha an dàta air a roinn aon uair, mar eisimpleir, 80% trèanadh agus 20% deuchainn. Is e a' bhuannachd gu bheil e luath agus sìmplidh, ach is e an eas-bhuannachd an caochladh mòr anns na toraidhean leis gu bheil e an urra ri aon roinn.
Mar as trice, bithear a’ cleachdadh an dòigh seo nuair a tha an dàta glè mhòr, agus mar sin bidh aon roinneadh riochdachail gu leòr.
2. Dearbhadh Crois-Fillte K
’S e seo an seòrsa dearbhaidh-croise as mòr-chòrdte. Gu tric bidh am paramadair k air a thaghadh mar 5 no 10 oir thathas den bheachd gu bheil e a’ cothromachadh cosgais coimpiutaireachd agus càileachd tuairmseachaidh.
Còrr:
– A’ cleachdadh dàta nas èifeachdaiche (bidh gach dàta na phàirt de thrèanadh is deuchainn).
– Tha tuairmsean coileanaidh nas seasmhaiche na cumail a-mach.
Dìth:
– Bheir e nas fhaide oir bidh e a’ trèanadh a’ mhodail k uair.
– Ma tha an dàta glè mhòr no ma tha am modail glè iom-fhillte, faodaidh na cosgaisean coimpiutaireachd a bhith àrd.
3. Dearbhadh Crois-fhillte K-Srathaichte
Airson duilgheadasan seòrsachaidh, gu h-àraidh ma tha na clasaichean mì-chothromach (me, 90% àicheil, 10% deimhinneach), faodaidh k-filleadh cunbhalach filltean a thoirt gu buil le sgaoilidhean clas clas claon. Bidh k-filleadh sreathach a’ dèanamh cinnteach gu bheil co-roinn nan clasaichean anns gach fillte timcheall air an aon rud ri co-roinn nan clasaichean anns an dàta tùsail.
Tha seo gu sònraichte cudromach ann a bhith a’ measadh mhodalan lorg ghalaran, foill, no cùisean eile far a bheil a’ chlas mhion-shluaigh beag.
4. Dearbhadh-crois-leig-às-aon (LOOCV)
Ann an LOOCV, tha an àireamh de phasgadh co-ionann ri meud an dàta (k = n). Tha seo a’ ciallachadh, anns gach ath-aithris, nach bi ach aon amharc a’ fàs mar dhàta deuchainn, agus an còrr mar dhàta trèanaidh.
Còrr:
– Tha cha mhòr a h-uile dàta air a chleachdadh airson trèanadh aig gach ath-aithris, agus mar sin faodaidh am claonadh tuairmseachaidh a bhith beag.
Dìth:
– Glè dhaor a thaobh coimpiutaireachd airson seataichean dàta mòra.
– Faodaidh an caochlaideachd tuairmseachaidh a bhith àrd ann an cuid de sheòrsaichean dhuilgheadasan leis nach eil anns an t-seata deuchainn ach aon phuing gach ath-aithris.
Bithear a’ cleachdadh LOOCV gu tric nuair a tha glè bheag dàta ann, mar eisimpleir rannsachadh le meud sampall beag.
5. Dearbhadh Crois-fhillte K-Ath-aithrisichte
Bidh an dòigh seo ag ath-aithris k-filleadh grunn thursan le diofar shònrachaidhean fillte (air thuaiream). Is e an t-amas eisimeileachd air aon shònrachadh fillte a lughdachadh agus tuairmsean nas seasmhaiche a thoirt gu buil.
Mar eisimpleir, tha “10-fhillte air ath-aithris 3 tursan” a’ ciallachadh ruith 10-fhillte 3 tursan (30 trèanadh is measadh gu h-iomlan).
6. Dearbhadh Tar-shreath Ùine
Airson dàta sreathan ùine, chan eil dearbhadh-croise àbhaisteach freagarrach oir faodaidh e “an àm ri teachd a leigeil a-mach” a-steach don phròiseas trèanaidh. Ann an sreathan ùine, feumar an òrdugh sealach a ghleidheadh. Mar sin, dòighean-obrach leithid:
– Uinneag rollaidh/sleamhnachaidh: trèanadh anns a’ chiad ùine agus an uairsin deuchainn anns an ath ùine, agus an uairsin bidh an uinneag ag atharrachadh.
– Uinneag a tha a’ leudachadh: bidh dàta trèanaidh ag àrdachadh thar ùine, agus an uairsin air a dhearbhadh san ath ùine.
Tha an dòigh seo buntainneach airson ro-innse reic mìosail, prìsean stoc, no mothachairean fìor-ùine.
Meatairean Measadh ann an Dearbhadh-croise
Chan eil dearbhadh-croise ach frèam-obrach measaidh; tha na meatairean a thathar a’ cleachdadh an urra ri seòrsa na trioblaid:
– Ath-thilleadh: MSE, RMSE, MAE, R-ceàrnagach.
– Seòrsachadh: cruinneas, mionaideachd, ath-ghairm, sgòr F1, ROC-AUC.
– Seòrsachadh neo-chothromach: ROC-AUC, PR-AUC (mionaideachd-ath-ghairm), cruinneas cothromach.
Mar as trice, bidh toraidhean dearbhaidh-tharsainn air an aithris mar chuibheasachd meatrach agus claonadh àbhaisteach (m.e., cruinneas 0,89 ± 0,03). Bidh an claonadh àbhaisteach a’ cuideachadh le bhith a’ tuigsinn seasmhachd a’ mhodail.
Tar-dhearbhadh airson Taghadh Modail agus Gnàthachadh Paramadair
Is e aon de na prìomh chleachdaidhean airson dearbhadh-croise taghadh modail agus gleusadh hipear-pharaimeadar. Mar eisimpleir:
– A’ taghadh k ann an k-NN.
– Tagh an doimhneachd as motha anns a’ chraobh cho-dhùnaidh.
– Obraich a-mach na paramadairean riaghailteachaidh ann an ath-tharraing druim/lasso.
– Obraich a-mach C agus gamma ann an SVM.
Ann an deagh chleachdadh, thèid am pròiseas gleusaidh a dhèanamh air an dàta trèanaidh le bhith a’ cleachdadh dearbhadh-croise, agus thèid an dàta deuchainn mu dheireadh a chumail air leth airson measadh deireannach. Tha seo a’ cur casg air “cus-dòchais” air sgàth ‘s gu bheil am modail air a cus-fhreagarrachadh don dàta measaidh.
Canar dearbhadh-croise neadaichte ri dòigh-obrach nas cruaidhe, is e sin dearbhadh-croise taobh a-staigh dearbhadh-croise: tha an lùb a-muigh airson measadh, tha an lùb a-staigh airson gleusadh. Tha seo mòr-chòrdte ann an rannsachadh oir tha e a’ toirt seachad tuairmsean coileanaidh nas neo-chlaon.
Buannachdan agus Cuingealachaidhean Dearbhaidh Thar-chridhe
Prìomh bhuannachdan:
1. A’ toirt seachad tuairmsean coileanaidh nas seasmhaiche na roinn singilte.
2. Cleachd dàta gu h-èifeachdach, gu h-àraidh nuair a tha an seata dàta beag.
3. Cuidichidh e le bhith a’ taghadh modail nas coitcheann agus a’ lughdachadh cunnart cus-fhreagarrachd.
Cuingealachaidhean:
1. Bidh cosgaisean coimpiutaireachd ag àrdachadh mar a thèid trèanadh ath-aithris iomadh uair.
2. Faodaidh aodion dàta tachairt fhathast mura tèid ro-phròiseasadh a dhèanamh ceart.
3. Airson dàta buidhneichte (mar eisimpleir, dàta euslaintich aig a bheil grunn chlàran), tha feum air dòigh shònraichte, leithid k-fold buidhne, gus nach nochd aon neach fa leth anns an trèana agus an deuchainn aig an aon àm.
Deagh Chleachdaidhean ann a bhith a’ Cleachdadh Tar-Dhearbhadh
Gus am bi measadh dligheach, feumar grunn phrionnsabalan cudromach a leantainn:
– Dèan ro-phròiseasadh (gnàthachadh, cur às, taghadh fheartan) taobh a-staigh gach fillte, chan ann aon uair airson an dàta gu lèir. Air neo, dh’ fhaodadh fiosrachadh bhon fhilleadh deuchainn a dhol a-steach don fhilleadh trèana.
– Cleachd k-fhillte sreathach airson seòrsachadh le clasaichean neo-chothromach.
– Cleachd sgeama sònraichte airson dàta sreathan-tìm gus nach tèid an òrdugh a bhriseadh.
– Cuir an seata deuchainn mu dheireadh an dàrna taobh ma tha thu ag amas air coileanadh deireannach a’ mhodail a mheasadh mus tèid a chleachdadh.
Penutup
’S e inneal bunaiteach a th’ ann an dearbhadh-croise ann an staitistig ghnìomhaichte agus ionnsachadh innealan airson coileanadh mhodail a mheasadh ann an dòigh nas cothromaiche agus nas làidire. Le bhith a’ cleachdadh roinneadh dàta a-rithist is a-rithist, bidh dearbhadh-croise a’ cuideachadh le bhith a’ lughdachadh claonadh air adhbhrachadh le taghadh roinnte deuchainn-trèana, a’ lorg cus-fhreagarrachd, agus a’ toirt taic do thaghadh mhodail agus gleusadh hyperparameter. Ged a tha a’ chosgais coimpiutaireachd nas àirde, is tric a tha na buannachdan airidh air, gu sònraichte nuair a tha an seata dàta beag no nuair a bhios builean mòra aig co-dhùnaidhean stèidhichte air toraidhean a’ mhodail. Le bhith a’ taghadh an seòrsa ceart de dhearbhadh-croise agus a’ cur an gnìomh deagh chleachdaidhean, is urrainn dhuinn modalan nas earbsaiche a thogail a tha deiseil airson an cleachdadh air dàta san t-saoghal fhìor.
