Modhan-obrach airson a chur an cèill ann an staitistig
Ann an cleachdadh staitistig agus mion-sgrùdadh dàta, bidh duilgheadas dàta a dhìth cha mhòr an-còmhnaidh ag èirigh. Faodaidh dàta a bhith a dhìth air sgàth nach eil luchd-freagairt a’ freagairt cheistean sònraichte, mearachdan clàraidh, bacadh mothachaidh, dàta truaillte rè às-tharraing, no air sgàth pròiseas a bhith a’ cothlamadh iomadh stòr dàta nach eil a’ maidseadh gu tur. Mura tèid a làimhseachadh gu ceart, faodaidh dàta a dhìth càileachd an anailis a lughdachadh, cumhachd na deuchainn a lughdachadh, agus eadhon leantainn gu co-dhùnaidhean claon. Is e aon de na dòighean as cumanta airson dèiligeadh ri dàta a dhìth imputation, a tha a’ toirt a-steach lìonadh luachan a tha a dhìth le luachan measta stèidhichte air fiosrachadh a tha ri fhaighinn.
Carson a tha Cur-an-gnìomh cudromach?
Tha grunn adhbharan ann carson a thathas tric a’ taghadh cur-ris seach dìreach dàta a tha a dhìth a dhubhadh às. An toiseach, faodaidh cuir às do shreathan/beachdan anns a bheil luachan a tha a dhìth (me, cuir às liosta) meud an t-sampall a lùghdachadh gu mòr, gu h-àraidh nuair a tha ceudad an dàta a tha a dhìth cudromach. San dàrna àite, mura h-eil an dàta a dhìth air thuaiream, faodaidh cuir às claonadh a thoirt a-steach. San treas àite, feumaidh mòran algairidhean staitistigeil no ionnsachadh innealan dàta iomlan, agus mar sin tha cur-ris na cheum ro-phròiseasaidh goireasach.
Ach, chan eil cur-ris dìreach mu dheidhinn “na beàrnan a lìonadh.” Feumaidh an dòigh a thèid a thaghadh beachdachadh air an dòigh-obrach dàta a tha a dhìth, structar nan caochladairean, agus amasan an anailis. Faodaidh droch chur-ris am modail a “mhealladh”, an caochlaideachd a lùghdachadh, agus na toraidhean a dhèanamh a’ coimhead nas cinntiche na tha iad dha-rìribh.
Uidheam Dàta Caillte
Anns an litreachas staitistigeil, mar as trice bidh dàta a tha a dhìth air a sheòrsachadh ann an trì prìomh dhòighean:
1. MCAR (A dhìth gu tur air thuaiream): tha coltachd dàta a dhìth neo-eisimeileach bho chaochladairean sam bith, ge bith an deach am faicinn no nach deach. Mar eisimpleir, ceisteachan air a mhilleadh le tubaist.
2. MAR (A dhìth air thuaiream): tha coltachd dàta a dhìth an urra ris a’ chaochladair a chaidh fhaicinn, ach chan eil e an urra ris an luach a tha a dhìth fhèin às dèidh smachd a chumail airson caochladairean eile. Mar eisimpleir, tha luchd-freagairt òga nas dualtaiche ceistean mu theachd-a-steach a chall, ach tha aois ri fhaighinn.
3. MNAR (A dhìth gun a bhith air thuaiream): Tha coltachd dàta a dhìth an urra ris an luach a tha a dhìth fhèin. Mar eisimpleir, chan eil daoine le teachd-a-steach glè àrd buailteach an teachd-a-steach fhoillseachadh.
San fharsaingeachd, tha cur às leth nas sàbhailte fo MCAR/MAR. Bidh feum aig MNAR gu tric air modail a bheir cunntas soilleir air dàta a tha a dhìth no mion-sgrùdadh cugallachd.
Modh-obrach Sìmplidh airson Cur an Gnìomh
1. Meas/Meadhan/Modh-mheasadh
Is e an dòigh as sìmplidh luachan a tha a dhìth a chur an àite a’ chuibheasachd no an mheadhan airson caochladairean àireamhach, agus am modh airson caochladairean roinneil. Is iad na buannachdan: tha e furasta, luath, agus gu tric bidh e na bhun-loidhne. Is iad na h-eas-bhuannachdan: faodaidh e an caochladh a lùghdachadh agus sgaoileadh an dàta a shaobhadh, gu h-àraidh ma tha an dàta neo-chothromach no ma tha luachan a-muigh ann. San fharsaingeachd, tha am meadhan nas làidire do luachan a-muigh na a’ chuibheasachd.
2. Cur às do Chur an-Cionn
Tha luachan a tha a dhìth air an lìonadh le cunbhalachd sònraichte, leithid 0, -1, no an leubail "Neo-aithnichte." Tha seo feumail nuair a tha brìgh shònraichte aig an luach (me, "gun ghnothach"), no nuair a dh’ fheumar comharra a bharrachd a thoirt don mhodail gus a bhith a’ comharrachadh neo-riaghailteachd. Ach, faodaidh taghadh cunbhalachd neo-riaghailteach pàtrain meallta a thoirt a-steach.
3. Cur às do Deic Teth
Ann an deic teth, lìonar luachan a tha a dhìth le bhith a’ cleachdadh luachan bho bheachdan eile, “coltach” (tabhartaichean) stèidhichte air grunn chaochladairean cudromach. Tha an dòigh seo mòr-chòrdte ann an sgrùdaidhean. Bidh deicichean teth a’ cumail suas luachan reusanta leis gu bheil iad a’ glacadh fìor luachan an dàta, ach tha na toraidhean mothachail air mìneachadh “coltachd” agus faodaidh iad atharrachadh eadar-shampall a thoirt gu buil.
Modh-obrach Cuimseachaidh Stèidhichte air Modail
4. Measadh Ath-thilleadh
Bithear a’ ro-innse luachan a tha a dhìth le bhith a’ cleachdadh modail ath-tharraing a tha air a thoirt bho chaochladairean eile. Airson caochladairean àireamhach, faodar ath-tharraing loidhneach a chleachdadh; airson caochladairean roinneil, faodar ath-tharraing loidsistig no ioma-ainmeach a chleachdadh. Is e a’ bhuannachd a th’ ann gu bheil e a’ cleachdadh nan dàimhean eadar caochladairean. Is e an eas-bhuannachd gu bheil cleachdadh luachan ro-innse cinnteach a-mhàin buailteach atharrachadh a lughdachadh leis gu bheil a h-uile luach air a thoirt a-steach a’ tuiteam dìreach air an loidhne ro-innse. Gus dèiligeadh ris an seo, bidh co-phàirtean air thuaiream (me, fuigheallan) gu tric air an cur ris airson barrachd fìrinneachd.
5. Imputadh k-Nearest Neighbors (kNN)
Bidh an dòigh kNN a’ lìonadh luachan a tha a dhìth stèidhichte air cuibheasachd (no bhòtadh) nan k nàbaidhean as fhaisge. Mar as trice, bidh dlùth-cheangal air a thomhas le astar Euclidean no meatrach eile às deidh don dàta a bhith air a cho-ghnàthachadh. Am measg nam buannachdan a th’ aige tha sùbailteachd agus gabhail ris nach eil dàimh loidhneach ann. Am measg nan eas-bhuannachdan tha daor a thaobh coimpiutaireachd airson seataichean dàta mòra, cugallachd ri sgèile caochlaideach, agus crìonadh coileanaidh air dàta àrd-thomhasach (mallachd tomhasachd).
6. Dùileachadh-Àrdachadh (EM)
Bidh an dòigh-obrach EM a’ measadh paramadairean a’ mhodail (me, cuibheasachd agus co-atharrachadh airson dàta àbhaisteach ioma-atharrachail) le bhith a’ làimhseachadh luachan a tha a dhìth mar chaochladairean falaichte. Bidh ceum E a’ tomhas gu h-ath-aithriseach na tha dùil ri luachan a tha a dhìth stèidhichte air na paramadairean gnàthach, agus an uairsin bidh ceum M ag ùrachadh nam paramadairean stèidhichte air an dàta “iomlan” ris a bheil dùil. Tha EM làidir ri barailean sònraichte mu riarachadh, ach faodaidh e a bhith iom-fhillte agus tha e an urra ri ceartas barailean a’ mhodail.
Iomadh-Iompachadh: An Inbhe Òir ann am Mòran Chùisean
7. Iomadachadh Iomadach (MI)
Thathas den bheachd gur e ioma-chur-ris aon de na dòighean-obrach as prionnsapaile a thaobh MAR. An àite aon seata dàta iomlan a chruthachadh, bidh MI a’ gineadh iomadh seata dàta (me, 5–20) le diofar chur-ris a tha a’ nochdadh mì-chinnt. Thèid gach seata dàta a sgrùdadh air leth, agus an uairsin thèid na toraidhean a chur còmhla a’ cleachdadh riaghailtean Rubin gus tuairmsean agus mearachdan àbhaisteach nas dligheach fhaighinn.
Buannachdan MI:
- A’ gabhail ri mì-chinnt mu chur às leth.
– Nas cruinne airson co-dhùnaidhean staitistigeil (eadar-amaichean misneachd, deuchainn barailean).
- Sùbailte airson diofar sheòrsaichean caochladairean.
A chuingealachaidhean:
- Cur an gnìomh nas iom-fhillte.
– Feumaidh barailean iomchaidh agus sònrachaidhean modail cur-an-gnìomh.
– Ma tha easbhaidh ann an MNAR, faodaidh MI àbhaisteach a bhith claon fhathast.
Imputadh airson Sreath-Ùine agus Dàta Spàsail
Ann an dàta sreathan ùine, bidh luachan a tha a dhìth gu tric air an ceangal gu làidir ris na luachan roimhe agus às dèidh sin. Bithear a’ cleachdadh dhòighean leithid eadar-chur loidhneach, splines, sìoltachain Kalman, no modalan ARIMA/State Space gu tric. Airson dàta fànais, faodaidh dòighean leithid kriging agus modalan fànais brath a ghabhail air faisgeachd cruinn-eòlasach. Tha na dòighean sin èifeachdach nuair a tha structar ùine/fànais as làidire, ach feumar a bhith faiceallach an aghaidh atharrachaidhean obann (me, clisgeadh eaconamach) a dh’ fhaodadh eadar-chur sìmplidh a dhèanamh meallta.
Deagh Chleachdaidhean ann a bhith a’ Taghadh Dhòighean-obrach airson Cur an Cunntas
1. Dèan sgrùdadh air dàta a tha a dhìth: thoir sùil air ceudad nan luachan a tha a dhìth, pàtran an dìth, agus a bheil an dìth co-cheangailte ri caochladair sònraichte.
2. Sgar dàta trèanaidh is deuchainn air leth: dèan cur-an-gnìomh le bhith “ag ionnsachadh” bho dhàta trèanaidh a-mhàin, agus an uairsin cuir an sàs e ann an dàta deuchainn gus casg a chur air aodion dàta.
3. Beachdaich air an t-seòrsa caochladair: àireamhach, roinneil, òrdail, no measgaichte; tha an dòigh iomchaidh eadar-dhealaichte.
4. Cleachd comharran dìth: uaireannan tha am fiosrachadh a tha a dhìth air luach ro-innseach ann fhèin; faodaidh cur ri caochladairean comharran coileanadh modail ro-innseach a leasachadh.
5. Dèan measadh air buaidh an t-suirbhidh: dèan coimeas eadar na sgaoilidhean ro/às dèidh an t-suirbhidh, thoir sùil a bheil an caochlaideachd air lùghdachadh, agus dearbhaich am modail.
6. Thoir prìomhachas do MI airson co-dhùnadh: nuair a tha amas na h-anailis a’ toirt a-steach tuairmse paramadair agus deuchainnean staitistigeil, bidh ioma-chur-ris nas iomchaidh na aon chur-ris.
Co-dhùnadh
Tha cur-ris na phàirt chudromach de shruthan-obrach staitistigeil an latha an-diugh airson dèiligeadh ri dàta a tha a dhìth. Faodaidh dòighean sìmplidh leithid cuibheasachd/meadhan a bhith feumail mar bhun-loidhne no airson dìth bheag, ach gu tric bidh iad a’ cur bacadh air structar dàta agus mì-chinnt. Bidh dòighean stèidhichte air modail leithid ath-thilleadh, kNN, agus EM a’ cleachdadh dàimhean eadar caochladairean, agus tha Ioma-chur-ris a’ toirt seachad frèam làidir airson co-dhùnadh le bhith a’ toirt cunntas air mì-chinnt. Tha roghainn na dòigh as fheàrr an urra ri uidheam an dàta a tha a dhìth (MCAR/MAR/MNAR), amas an anailis (ro-innse an aghaidh co-dhùnadh), agus feartan an dàta (sreath ùine, spàsail, measgaichte). Leis an dòigh-obrach cheart, bidh cur-ris a’ cuideachadh le bhith a’ cumail suas ionracas an anailis agus a’ toirt a-mach co-dhùnaidhean nas earbsaiche.
