Dè a th' ann an Outlier ann an Staitistig
Ann an staitistig, ’s e dàta am prìomh stuth amh airson tuigse fhaighinn air rudan mar giùlan luchd-cleachdaidh, toraidhean dheuchainnean, slàinte euslaintich, càileachd cinneasachaidh, agus eadhon gluasadan eaconamach. Ach, chan eil a h-uile puing dàta ag “giùlan” mar a’ mhòr-chuid. Aig amannan bidh sinn a’ tighinn tarsainn air aon luach no barrachd a tha coltach gu math eadar-dhealaichte bhon chòrr den t-seata dàta. Canar “outliers” ris na luachan sin. Tha e cudromach tuigse fhaighinn air luachan oir faodaidh iad co-dhùnaidhean anailis atharrachadh, buaidh a thoirt air modalan ro-innseach, agus eadhon tachartasan cudromach a chomharrachadh a tha airidh air sgrùdadh.
A’ Tuigsinn Daoine Neo-eisimeileach
Gu sìmplidh, is e luach dàta no beachd a th’ ann an iom-fhillteachd a tha gu math eadar-dhealaichte bhon mhòr-chuid den dàta. Faodaidh iom-fhillteachdan a bhith nas àirde (glè àrd) no nas ìsle (glè ìosal) na am pàtran coitcheann. Mar eisimpleir, ma tha sgòran deuchainn a’ mhòr-chuid de dh’ oileanaich a’ tuiteam anns an raon 60–90, agus ma tha sgòr singilte de 5 no 100 gu math eadar-dhealaichte, bu chòir amharas a bhith ann gur e iom-fhillteachd a th’ ann an sgòr.
Tha e cudromach cuideam a chur air: chan eil luach neo-àbhaisteach an-còmhnaidh a’ ciallachadh “mearachd.” Tha luach neo-àbhaisteach dìreach a’ comharrachadh gu bheil an luach neo-àbhaisteach an taca ris an t-seata dàta. Faodaidh luachan neo-àbhaisteach èirigh bho mhearachdan cuir a-steach, ionnstramaidean tomhais lochtach, no dìreach tachartasan tearc ach cudromach san t-saoghal fhìor a nochdadh.
Eisimpleir shìmplidh
Smaoinich air dàta teachd-a-steach mìosail (ann am millean rupiah) 10 neach:
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
An seo, tha an àireamh 50 a’ seasamh a-mach gu mòr an taca ris na feadhainn eile. An e mearachd a th’ ann an 50? Dh’ fhaodadh gur e leughadh ceàrr a th’ ann (bu chòir dha a bhith 5,0), ach dh’ fhaodadh e a bhith ceart cuideachd leis gur e sealbhadair gnìomhachais mhòir a th’ anns an neach. Anns gach cùis, tha 50 fhathast na iom-fhillteachd—is e an diofar mar a bhios sinn ga làimhseachadh san anailis.
Carson a nochdas Outliers?
Tha grunn adhbharan cumanta ann airson coltas eas-òrdughan:
1. Mearachd tomhais no inneil
Mar eisimpleir, faodaidh mothachaire teòthachd luachan anabarrach a leughadh uaireannan air sgàth bacadh.
2. Mearachdan ann an clàradh no cuir a-steach dàta
Eisimpleirean clasaigeach: a’ taipeadh 1000 an àite 100, no aonadan ceàrr (cm an aghaidh m).
3. Caochladh nàdarra
Anns an t-saoghal fhìor, tha rudan tearc ach reusanta ann: àrdachadh mòr ann an reic air sgàth àrdachadh mòr, freagairt neo-àbhaisteach aig euslainteach ri droga, no lùth-chleasaiche a’ suidheachadh clàr anabarrach.
4. Atharrachaidhean ann am pròiseas no cumhaichean
Mar eisimpleir, bidh fàilligeadh inneil ann am factaraidh air latha sònraichte, ag adhbhrachadh gum bi àireamh nan toraidhean lochtach ag àrdachadh gu mòr.
5. Sluagh measgaichte
Dh’fhaodadh grunn bhuidhnean eadar-dhealaichte a bhith ann an seata dàta còmhla. Mar eisimpleir, tha àirdean oileanaich bun-sgoile agus colaiste measgaichte; dh’fhaodadh cuid de luachan “anabarrach” nochdadh chan ann air sgàth ana-cainnt, ach leis gu bheil na buidhnean gu tur eadar-dhealaichte.
Buaidh nan Daoine Neo-eisimeileach air Mion-sgrùdadh Staitistigeil
Tha luachan anabarrach cudromach oir faodaidh iad buaidh mhòr a thoirt air toraidhean anailis, gu h-àraidh ann an dòighean a tha mothachail air luachan anabarrach.
1. A’ toirt buaidh air a’ chuibheasachd (mean)
Tha e furasta an cuibheasachd a “tharraing” le luachan anabarrach. Anns an eisimpleir teachd-a-steach gu h-àrd, bhiodh an cuibheasachd air a mheudachadh gu mòr le luach de 50, eadhon ged a tha a’ mhòr-chuid timcheall air 5–8.
2. A’ toirt buaidh air claonadh àbhaisteach agus caochlaideachd
Leis gu bheil eadar-dhealachaidhean ceàrnagach bhon mheadhan anns na h-àireamhachadh atharrachaidh, faodaidh na h-àireamhan a tha air an cur a-mach bhon luach àbhaisteach an t-atharrachadh agus an claonadh àbhaisteach a mheudachadh, agus mar sin tha e coltach gu bheil an dàta nas “sgaoilte” na tha e dha-rìribh.
3. Modalan ath-tharraing is ionnsachaidh innealan a tha a’ cur dragh orra
Ann an ath-tharraing loidhneach, faodaidh luachan neo-àbhaisteach an loidhne ath-tharraing a shaobhadh, a’ dèanamh ro-innse bochd airson a’ mhòr-chuid den dàta. Ann an cuid de algairidhean, faodaidh luachan neo-àbhaisteach adhbhrachadh gum bi am modail ro fhreagarrach no buaidh a thoirt air na paramadairean trèanaidh.
4. Deuchainn barailean buaidh
Faodaidh eisgeachd briseadh a dhèanamh air barailean àbhaisteachd agus aon-ghnèitheachd atharrachaidh a thathas gu tric a’ cleachdadh ann an deuchainnean paraimeadrach, agus mar sin bidh co-dhùnaidhean staitistigeil claon.
Ach, faodaidh toraidhean neo-àbhaisteach a bhith nan comharran cudromach cuideachd. Ann an lorg foill, is e gnothaichean neo-àbhaisteach dìreach na tha sinn airson a bhith a’ sireadh. Ann an cùram slàinte, faodaidh toraidhean obair-lann gu math eadar-dhealaichte a bhith a’ comharrachadh suidheachadh meidigeach dona.
Mar a lorgas tu nithean a tha air leth cudromach
Chan eil aon dhòigh “ceart” ann. Bidh lorg nithean a-muigh gu tric an urra ris a’ cho-theacsa, an seòrsa dàta, agus amasan anailis. Seo cuid de na dòighean cumanta:
1. Dealbh-chruthachadh: Bogsa-plot agus Scatterplot
– Tha bogsa-plotaichean glè chumanta airson puingean a-muigh a chomharrachadh. Ann am bogsa-plot, mar as trice bidh puingean a-muigh air an comharrachadh mar phuingean a tha taobh a-muigh a’ bhogsa-snàthainn.
– Bidh plotaichean sgapte a’ cuideachadh le bhith a’ faicinn luachan iomallach anns a’ cheangal eadar dà chaochladair, mar eisimpleir cuideam an aghaidh àirde.
Tha lèirsinn feumail mar chiad cheum oir tha e luath agus furasta a thuigsinn.
2. Modh IQR (Raon Eadar-chairteal)
Bithear gu tric a’ cleachdadh an dòigh IQR airson dàta aon-atharrachail (aon-atharrachail).
– Obraich a-mach Q1 (cairteal 1) agus Q3 (cairteal 3)
– IQR = Q3 − Q1
– Crìoch ìosal = Q1 − 1,5 × IQR
– Crìoch uachdarach = Q3 + 1,5 × IQR
Mar as trice, thathas a’ meas luachan taobh a-muigh nan crìochan seo mar luachan neo-àbhaisteach. Tha an dòigh seo caran làidir leis nach eil buaidh mhòr aig luachan anabarrach air.
3. Sgòr-Z (stèidhichte air a’ chuibheasachd agus an claonadh àbhaisteach)
Tha an sgòr-Z a’ tomhas dè cho fada ‘s a tha luach bhon mheadhan ann an aonadan claonadh àbhaisteach.
– z = (x − cuibheasach) / sd
Thathas gu tric a’ meas luachan le |z| > 3 (uaireannan > 2,5) mar luachan iom-fhillte.
Laigse: ma tha luachan mòra anns an dàta mu thràth, bidh buaidh air a’ chuibheasachd agus an ìre sheasmhachd (SD) agus mar sin chan eil an lorg cho ceart.
4. Modhan stèidhichte air modail agus ioma-atharrachail
Airson dàta ioma-atharrachail, chan fhaicear luachan iomallach an-còmhnaidh ann an aon cholbh a-mhàin, ach ann an measgachadh de ghrunn chaochladairean.
– Bithear gu tric a’ cleachdadh astar Mahalanobis gus nithean neo-àbhaisteach ioma-atharrachail a lorg.
– Ann an ionnsachadh innealan, tha dòighean-obrach ann leithid Coille Iomallach, Factar Outlier Ionadail (LOF), no SVM Aon-Chlas.
Tha an dòigh seo freagarrach airson seataichean dàta mòra is iom-fhillte, mar eisimpleir lorg neo-riaghailteachdan ann an gnothaichean ionmhais.
Dè a nì thu ma lorgas tu neo-eisimeileachd?
Chan e dìreach an sguabadh às an dòigh-obrach as fheàrr. San fharsaingeachd, tha grunn cheumannan ann am pròiseas làimhseachaidh nithean neo-àbhaisteach:
1. Dearbhadh dàta
– Thoir sùil airson cuir-a-steach ceàrr, dùblachadh, no aonadan ceàrr.
– Dèan coimeas ris an stòr dàta tùsail (m.e. foirmean, logaichean mothachaidh, no clàran làimhe).
2. Tuig an co-theacsa
– A bheil ciall anns na luachan anabarrach san raon?
– Mar eisimpleir, tha teòthachd bodhaig daonna de 50°C cha mhòr cinnteach gu bheil e ceàrr; ach dh’ fhaodadh teachd-a-steach de 50 millean a bhith reusanta.
3. Co-dhùin adhbhar an anailis
– Mas e an t-amas giùlan “coitcheann” a thuigsinn, is dòcha gum feumar dèiligeadh ri nithean neo-àbhaisteach gus casg a chuir orra bho bhith a’ faighinn làmh an uachdair.
– Mas e an t-amas tachartasan tearc a lorg (foill, fàilligeadh inneil), is e nithean neo-àbhaisteach am prìomh fhòcas.
4. Tagh ro-innleachd làimhseachaidh
Seo cuid de roghainnean cumanta:
– Toirt air falbh: air a dhèanamh ma thèid a dhearbhadh gur mearachd a th’ anns an neo-iomlan agus nach eil e riochdachail.
– Cruth-atharrachadh dàta: mar eisimpleir cruth-atharrachadh log airson dàta claon.
– Winsorizing / capping: a’ cuingealachadh luachan anabarrach gu ceudadan sònraichte (me p1 agus p99).
– Cleachd dòighean làidir: meadhan, IQR, ath-tharraing làidir, no modailean a tha an aghaidh outliers.
– Mion-sgrùdadh air leth: uaireannan tha e nas iomchaidh nithean a-muigh a sgrùdadh mar chùisean sònraichte.
Gu cudromach, feumar co-dhùnaidhean a chlàradh gus am bi an anailis follaiseach agus cunntachail.
Neo-eisimeileach: Duilgheadas no Fiosrachadh Luachmhor?
Thathas gu tric a’ meas gu bheil nithean a tha air an taobh a-muigh nan “fuaim” oir faodaidh iad geàrr-chunntasan staitistigeil a shaobhadh. Ach, ann am mòran chùisean, is e nithean a tha air an taobh a-muigh an geata gu lèirsinn ùr: gu bheil roinn de luchd-ceannach àrd-inbhe ann, suidheachadh euslaintich a dh’ fheumas aire, ìre ùr sa phròiseas cinneasachaidh, no foill a dh’ fhaodadh a bhith ann. Mar sin, bu chòir dèiligeadh ri nithean a tha air an taobh a-muigh mar rudeigin a dh’ fheumar a sgrùdadh, gun a bhith air an cur às gu fèin-ghluasadach.
Co-dhùnadh
Is e luach a tha gu math eadar-dhealaichte bho phàtran coitcheann an dàta a th’ ann an luach neo-àbhaisteach ann an staitistig. Faodaidh luachan neo-àbhaisteach èirigh mar thoradh air mearachdan, atharrachadh nàdarra, atharrachaidhean pròiseas, no eadar-dhealachaidhean buidhne taobh a-staigh seata dàta. Faodaidh a’ bhuaidh a bhith aca air a’ chuibheasachd, an caochlaideachd, deuchainnean staitistigeil, agus modalan ro-innseach. Faodar lorg luachan neo-àbhaisteach a choileanadh tro dhealbhan-camara, dòighean IQR, sgòran-z, agus eadhon dòighean-obrach ioma-atharrachail agus ionnsachadh innealan. Feumaidh làimhseachadh beachdachadh air a’ cho-theacsa agus na h-amasan: dearbhadh, tuigsinn nan adhbharan, agus an uairsin ro-innleachd a thaghadh leithid luachan a thoirt air falbh, atharrachadh, cuingealachadh, no dòighean làidir a chleachdadh.
Le tuigse cheart, chan e dìreach “àireamhan corr” a th’ ann an àireamhan neo-àbhaisteach, ach eileamaidean cudromach de chleachdadh staitistigeil a dh’ fhaodas càileachd mion-sgrùdadh agus cho-dhùnaidhean stèidhichte air dàta a leasachadh.
