Cad is Outlier i Staitisticí ann
I staitisticí, is iad sonraí an príomh-amhábhar chun feiniméin a thuiscint: iompar tomhaltóirí, torthaí tástála, sláinte othar, cáilíocht táirgthe, agus fiú treochtaí eacnamaíocha. Mar sin féin, ní "iompraíonn" gach pointe sonraí cosúil leis an gcuid is mó. Uaireanta tagaimid ar luach amháin nó níos mó a bhfuil cuma shuntasach difriúil orthu ón gcuid eile den tacar sonraí. Tugtar eisceachtaí ar na heiseachtracha seo. Tá sé tábhachtach eisceachtaí a thuiscint mar is féidir leo conclúidí anailíseacha a athrú, tionchar a imirt ar shamhlacha tuartha, agus fiú imeachtaí tábhachtacha atá fiúntach a imscrúdú a léiriú.
Tuiscint ar Sheachtracha
Go simplí, is breathnóireacht nó luach sonraí é eiscríbhneoir atá difriúil go suntasach ó fhormhór na sonraí. Is féidir le heiscríbhneoirí a bheith níos airde (thar a bheith ard) nó níos ísle (thar a bheith íseal) ná an patrún ginearálta. Mar shampla, má thiteann scóir tástála fhormhór na ndaltaí sa raon 60–90, agus má imríonn scór aonair de 5 nó 100 go suntasach, ba cheart amhras a bheith ar an scór sin mar eiscríbhneoir.
Tá sé tábhachtach béim a chur air seo a leanas: ní chiallaíonn eiscríbhneoireacht "earráid" i gcónaí. Léiríonn eiscríbhneoireacht go simplí go bhfuil an luach neamhghnách i gcomparáid leis an tacar sonraí. Is féidir eiscríbhneoireachta a bheith mar thoradh ar earráidí ionchuir, ar ionstraimí tomhais lochtacha, nó is féidir leo imeachtaí fíorshaoil neamhchoitianta ach suntasacha a léiriú.
Sampla simplí
Samhlaigh sonraí ioncaim mhíosúla (i milliún rupiah) 10 duine:
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
Anseo, seasann an uimhir 50 amach go géar i gcomparáid leis na cinn eile. An earráid í 50? D’fhéadfadh gur léamh mícheart í (ba chóir go mbeadh 5,0 ann), ach d’fhéadfadh sí a bheith ceart freisin toisc gur úinéir gnó mór an duine. In aon chás, fanann 50 ina sheachuimhir—is é an difríocht ná an chaoi a gcaithimid leis san anailís.
Cén Fáth a bhFeictear Eiseachtaigh?
Tá roinnt cúiseanna coitianta ann le teacht chun cinn eisceachtaí:
1. Earráid tomhais nó uirlise
Mar shampla, d’fhéadfadh braiteoir teochta luachanna foircneacha a léamh uaireanta mar gheall ar chur isteach.
2. Earráidí i dtaifeadadh nó i gcur isteach sonraí
Samplaí clasaiceacha: 1000 a chlóscríobh in ionad 100, nó aonaid mhíchearta (cm vs m).
3. Éagsúlacht nádúrtha
Sa saol mór, bíonn feiniméin neamhchoitianta ach réadúla ann: borradh díolacháin mar gheall ar ardú céime mór, bíonn freagairt neamhghnách ag othar ar dhruga, nó socraíonn lúthchleasaí taifead foircneach.
4. Athruithe ar phróiseas nó ar choinníollacha
Mar shampla, teip meaisín i monarcha ar lá áirithe, rud a fhágann go méadaíonn líon na dtáirgí lochtacha go mór.
5. Daonraí measctha
D’fhéadfadh roinnt grúpaí éagsúla a bheith i dtaca le chéile i dtacar sonraí. Mar shampla, bíonn airde daltaí meánscoile agus coláiste measctha; d’fhéadfadh roinnt luachanna “foircneacha” a bheith le feiceáil ní mar gheall ar neamhghnáchaíochtaí, ach toisc go bhfuil na grúpaí fíordhifriúil.
Tionchar na nEas-Líontóirí ar Anailís Staitistiúil
Tá luachanna seachtracha tábhachtach mar is féidir leo tionchar suntasach a imirt ar thorthaí anailíse, go háirithe i modhanna atá íogair do luachanna foircneacha.
1. Bíonn tionchar aige ar an meán (an meán)
Is furasta an meán a "tharraingt" le luachanna foircneacha. Sa sampla ioncaim thuas, bheadh an meán ardaithe go suntasach faoi luach 50, cé go bhfuil an tromlach thart ar 5–8.
2. Bíonn tionchar aige ar an diall caighdeánach agus ar an athraitheas
Ós rud é go mbíonn difríochtaí cearnacha ón meán i gceist le ríomhanna athraitheasa, is féidir le heisceachtaigh an athraitheas agus an diall caighdeánach a bholgú, rud a fhágann go bhfuil cuma níos “scaipthe” ar na sonraí ná mar atá siad i ndáiríre.
3. Samhlacha suaiteacha maidir le hathchéimniú agus foghlaim meaisín
I gcúlchéimniú líneach, is féidir le heasnaimh an líne chúlchéimnithe a chlaonadh, rud a fhágann go bhfuil droch-thuar ann don chuid is mó de na sonraí. I roinnt halgartaim, is féidir le heasnaimh a chur faoi deara go n-oirfidh an tsamhail ró-oiriúnach nó go ndéanfaidh siad difear do na paraiméadair oiliúna.
4. Tástáil hipitéis tionchair
Is féidir le heisceachtaigh na toimhdí maidir le normalacht agus aonchineálacht athraitheas a úsáidtear go minic i dtástálacha paraiméadracha a shárú, ionas go mbíonn claontacht sna conclúidí staitistiúla.
Mar sin féin, is féidir le heasurraimí a bheith ina gcomharthaí tábhachtacha freisin. I mbrath calaoise, is iad idirbhearta easurraimí go díreach atá uainn a lorg. I gcúram sláinte, is féidir le torthaí saotharlainne atá an-difriúil riocht míochaine tromchúiseach a léiriú.
Conas Eiseachtaigh a Bhrath
Níl aon mhodh amháin "ceart" ann. Braitheann braiteadh eisceachtaí go minic ar an gcomhthéacs, ar an gcineál sonraí, agus ar chuspóirí anailíse. Seo a leanas roinnt modhanna coitianta:
1. Amharcléiriú: Boscphlota agus Scaipphlota
– Tá boscaphlotaí an-choitianta chun eisceachtaí a aithint. I mboscaphlota, is gnách go mbíonn eisceachtaí marcáilte mar phointí a thiteann lasmuigh den bhosca fuinseog.
– Cuidíonn scaipphlotaí le heachtracha a fheiceáil sa ghaol idir dhá athróg, mar shampla meáchan i gcoinne airde.
Tá léirshamhlú úsáideach mar chéad chéim mar go bhfuil sé tapa agus iomasach.
2. Modh IQR (Raon Idircheathrúnach)
Is minic a úsáidtear an modh IQR le haghaidh sonraí aonathróg (aonathróg).
– Ríomh Q1 (ceathrú 1) agus Q3 (ceathrú 3)
– IQR = C3 − C1
– Teorainn íochtarach = Q1 − 1,5 × IQR
– Teorainn uachtarach = Q3 + 1,5 × IQR
De ghnáth meastar gur luachanna seachtracha iad luachanna lasmuigh de na teorainneacha seo. Tá an modh seo sách láidir mar nach mbíonn tionchar mór ag luachanna foircneacha air.
3. Scór Z (bunaithe ar an meán agus ar an diall caighdeánach)
Tomhaiseann an scór Z cé chomh fada agus atá luach ón meán in aonaid diall caighdeánach.
– z = (x − meán) / sd
Is minic a mheastar gur eisceachtaí iad luachanna le |z| > 3 (uaireanta > 2,5).
Laige: má tá eisceachtaí móra sna sonraí cheana féin, bíonn tionchar ar an meán agus ar an staitisticí díláraithe ionas nach mbeidh an bhrath chomh cruinn céanna.
4. Modhanna bunaithe ar mhúnla agus ilathróga
I gcás sonraí il-athróg, ní bhíonn eisceachtaí le feiceáil i gcónaí i gcolún amháin, ach i meascán de roinnt athróg.
– Is minic a úsáidtear achar Mahalanobis chun eisceachtaí ilathróga a bhrath.
– I bhfoghlaim meaisín, tá cineálacha cur chuige ar nós Foraois Aonrialaithe, Fachtóir Outlier Áitiúil (LOF), nó SVM Aon-Ranga.
Tá an modh seo oiriúnach do shraitheanna sonraí móra agus casta, mar shampla braiteadh neamhghnáchaíochtaí idirbheart airgeadais.
Cad atá le Déanamh Má Aimsíonn Tú Eiseacht?
Ní hé an cúrsa gníomhaíochta is fearr iad a scriosadh go simplí. Go ginearálta, bíonn roinnt céimeanna i gceist leis an bpróiseas láimhseála eisceachtaí:
1. Fíorú sonraí
– Seiceáil le haghaidh ionchur mícheart, dúbláil, nó aonaid mhíchearta.
– Déan comparáid leis an bhfoinse sonraí bunaidh (e.g. foirmeacha, logaí braiteoirí, nó taifid láimhe).
2. Tuig an comhthéacs
– An bhfuil ciall leis na luachanna foircneacha sa réimse?
– Mar shampla, is beagnach cinnte go bhfuil teocht choirp an duine de 50°C mícheart; ach d’fhéadfadh ioncam de 50 milliún a bheith réasúnta.
3. Cinntigh cuspóir na hanailíse
– Más é an sprioc iompar “ginearálta” a thuiscint, b’fhéidir go mbeadh gá déileáil le heisceachtaigh chun cosc a chur orthu ceannas a ghlacadh.
– Más é an sprioc imeachtaí neamhchoitianta (calaois, teip meaisín) a aimsiú, is iad eisceachtaí an phríomhfhócas.
4. Roghnaigh straitéis láimhseála
Roinnt roghanna coitianta:
– Baint: déantar é má chruthaítear gur earráid atá san eisceacht agus nach ionadaíoch é.
– Claochlú sonraí: mar shampla claochlú loga le haghaidh sonraí claonta.
– Winsorizing / capping : luachanna foircneacha a theorannú do chéatadáin áirithe (e.g. p1 agus p99).
– Bain úsáid as modhanna láidre: meánmhéid, IQR, aischéimniú láidir, nó samhlacha atá frithsheasmhach in aghaidh eisceachtaí.
– Anailís ar leithligh: uaireanta is oiriúnaí anailís a dhéanamh ar eisceachtaí mar chásanna speisialta.
Rud tábhachtach, ní mór cinntí a dhoiciméadú ionas go mbeidh an anailís trédhearcach agus cuntasach.
Eiseachtaigh: Fadhb nó Faisnéis Luachmhar?
Is minic a mheastar gur “torann” iad eisceachtaí toisc gur féidir leo achoimrí staitistiúla a shaobhadh. Mar sin féin, i go leor cásanna, is iad eisceachtaí an geata chuig léargais nua: deighleog préimhe custaiméirí a bheith ann, riocht othair a éilíonn aird, céim nua sa phróiseas táirgthe, nó calaois fhéideartha. Dá bhrí sin, ba cheart déileáil le heisceachtaí mar rud a chaithfear a imscrúdú, ní a dhíbhe go huathoibríoch.
Conclúid
Is luach é eiscréid i staitisticí a imríonn go suntasach ó phatrún ginearálta na sonraí. Is féidir eiscréid a bheith mar gheall ar earráidí, éagsúlacht nádúrtha, athruithe próisis, nó difríochtaí grúpa laistigh de shraith sonraí. Is féidir a dtionchar a bheith suntasach ar an meán, ar an athraitheas, ar thástálacha staitistiúla, agus ar shamhlacha tuartha. Is féidir eiscréid a bhrath trí léirshamhlú, modhanna IQR, scóir-z, agus fiú cur chuige ilathróga agus foghlaim meaisín. Caithfidh láimhseáil an comhthéacs agus na cuspóirí a chur san áireamh: fíorú, na cúiseanna a thuiscint, agus ansin straitéis a roghnú amhail luachanna a bhaint, a chlaochlú, a theorannú, nó modhanna láidre a úsáid.
Le tuiscint cheart, ní hamháin gur “uimhreacha corr” iad eisceachtaí, ach ina ionad sin gnéithe tábhachtacha de chleachtas staitistiúil ar féidir leo feabhas a chur ar cháilíocht anailíse agus cinntí atá bunaithe ar shonraí.
