Inona no atao hoe Outlier amin'ny Statistika
Ao amin'ny statistika, ny angon-drakitra no akora fototra voalohany ahafahana mahatakatra ireo trangan-javatra: ny fitondran-tenan'ny mpanjifa, ny valin'ny fitiliana, ny fahasalaman'ny marary, ny kalitaon'ny famokarana, ary na dia ny fironana ara-toekarena aza. Na izany aza, tsy ny teboka angon-drakitra rehetra no "mitondra tena" toy ny ankamaroany. Indraindray isika dia mahita soatoavina iray na maromaro izay toa hafa be amin'ny ambin'ny angon-drakitra. Ireo outliers ireo dia fantatra amin'ny hoe outliers. Zava-dehibe ny fahatakarana ny outliers satria afaka manova ny fehin-kevitra ara-analytika izy ireo, misy fiantraikany amin'ny modely faminaniana, ary manondro hetsika manan-danja mendrika hodinihina mihitsy aza.
Fahatakarana ny Outliers
Raha fintinina, ny "outlier" dia sandan'ny fandinihana na angon-drakitra izay tsy mitovy amin'ny ankamaroan'ny angon-drakitra. Mety ho ambony (avo dia avo) na ambany (ambany dia ambany) noho ny lamina ankapobeny ny "outlier". Ohatra, raha latsaka ao anatin'ny elanelana 60–90 ny isa azon'ny ankamaroan'ny mpianatra amin'ny fanadinana, ary misy isa 5 na 100 miiba be, dia tokony hoheverina ho "outlier" io isa io.
Zava-dehibe ny manantitrantitra fa ny "outlier" dia tsy midika foana hoe "fahadisoana". Ny "outlier" dia midika fotsiny hoe tsy mahazatra ny sandany raha oharina amin'ny angon-drakitra. Ny "outlier" dia mety hipoitra avy amin'ny fahadisoana fampidirana, fitaovana fandrefesana tsy mety, na maneho fotsiny ny zava-mitranga tena misy tsy fahita firy nefa manan-danja.
Ohatra tsotra
Alaivo sary an-tsaina ny angon-drakitra momba ny fidiram-bolan'ny olona 10 isam-bolana (amin'ny tapitrisa ropia):
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
Eto, miavaka tsara ny isa 50 raha oharina amin'ny hafa. Diso ve ny 50? Mety ho diso famakiana izany (tokony ho 5,0), saingy mety ho marina ihany koa satria tompona orinasa lehibe ilay olona. Na ahoana na ahoana, dia mbola tsy voafaritra ny 50—ny mahasamihafa azy dia ny fomba itondrantsika azy amin'ny fanadihadiana.
Nahoana no miseho ireo zavatra tsy dia fantatra loatra?
Misy antony maromaro mahazatra mahatonga ny fisehoan'ny outliers:
1. Fahadisoana amin'ny fandrefesana na fitaovana
Ohatra, ny fitaovana fandrefesana mari-pana dia mety mamaky sanda tafahoatra indraindray noho ny fitsabahana.
2. Fahadisoana amin'ny fandraketana na fampidirana angona
Ohatra mahazatra: fanoratana 1000 fa tsy 100, na singa diso (sm vs m).
3. Fiovaovana voajanahary
Eo amin'ny fiainana tena izy, misy trangan-javatra tsy fahita firy nefa azo tanterahina: fiakaran'ny varotra noho ny fampiroboroboana lehibe, misy marary manana fihetsika tsy mahazatra amin'ny fanafody, na atleta iray mametraka firaketana ambony dia ambony.
4. Fiovana eo amin'ny dingana na ny fepetra
Ohatra, misy orinasa iray sendra simba ny milina amin'ny andro iray, ka mitombo be ny isan'ny vokatra tsy mety.
5. Mponina mifangaro
Mety ahitana vondrona maromaro mitambatra ny angon-drakitra iray. Ohatra, mifangaro ny haavon'ny mpianatra any amin'ny sekoly ambaratonga faharoa sy ny oniversite; mety hiseho ny sanda "tafahoatra" sasany tsy noho ny tsy fetezana, fa satria tena samy hafa ireo vondrona.
Ny fiantraikan'ny Outliers amin'ny famakafakana statistika
Zava-dehibe ny outliers satria mety hisy fiantraikany lehibe amin'ny valin'ny fanadihadiana, indrindra amin'ny fomba izay mora tohina amin'ny sanda tafahoatra.
1. Misy fiantraikany amin'ny salan'isa (salan'isa)
Mora "voasarika" amin'ny sanda tafahoatra ny salan'isa. Ao amin'ny ohatra momba ny fidiram-bola etsy ambony, dia hisondrotra be ny salan'isa amin'ny sanda 50, na dia eo amin'ny 5–8 eo ho eo aza ny ankamaroany.
2. Misy fiantraikany amin'ny fivilian-dàlana sy ny fiovaovan'ny fenitra
Satria ny kajy momba ny fiovaovana dia misy fahasamihafana efa-joro amin'ny salan'isa, ny outliers dia afaka mampitombo ny fiovaovana sy ny fivilian-dàlana mahazatra, ka mahatonga ny angona ho toy ny hoe "miparitaka" kokoa noho ny tena izy.
3. Modely fihemorana sy fianarana milina manelingelina
Ao amin'ny regression linear, ny outliers dia mety hampiova ny tsipika regression, ka mahatonga ny vinavina ho ratsy ho an'ny ankamaroan'ny data. Ao amin'ny algorithm sasany, ny outliers dia mety hahatonga ny modely ho tafahoatra na hisy fiantraikany amin'ny masontsivana fampiofanana.
4. Fitsapana petra-kevitra misy fiantraikany
Mety handika ny fiheverana momba ny normality sy ny homogeneity of variance izay matetika ampiasaina amin'ny fitsapana parametric ny outliers, ka mahatonga ny fehin-kevitra ara-statistika ho mitongilana.
Na izany aza, mety ho famantarana manan-danja ihany koa ireo zavatra tsy hita maso. Amin'ny fitadiavana hosoka, ny fifanakalozana tsy hita maso no tena tiantsika hotadiavina. Amin'ny sehatry ny fahasalamana, ny valin'ny laboratoara izay samy hafa be dia mety manondro aretina lehibe.
Ahoana no hamantarana ireo zavatra tsy mahazatra
Tsy misy fomba "marina" tokana. Matetika ny fitadiavana zavatra tsy mahazatra dia miankina amin'ny teny manodidina, ny karazana angon-drakitra ary ny tanjon'ny fanadihadiana. Ireto misy fomba mahazatra:
1. Fampisehoana an-tsary: Boxplot sy Scatterplot
– Malaza be ny boxplots amin'ny famantarana ireo outliers. Ao amin'ny boxplot, ireo outliers dia mazàna asiana marika ho teboka ivelan'ny boaty whisker.
– Ny Scatterplots dia manampy amin'ny fahitana ireo zavatra ivelany amin'ny fifandraisana misy eo amin'ny variables roa, ohatra ny lanja vs. ny haavony.
Ilaina ho dingana voalohany ny fijerena an-tsary satria haingana sy mora azo.
2. Fomba IQR (Interquartile Range)
Matetika ampiasaina amin'ny angon-drakitra miovaova tokana (univariate) ny fomba IQR.
– Kajy ny Q1 (quartile 1) sy ny Q3 (quartile 3)
– IQR = Q3 − Q1
– Fetra ambany = Q1 − 1,5 × IQR
– Fetra ambony = Q3 + 1,5 × IQR
Ireo sanda ivelan'ireo fetra ireo dia mazàna heverina ho outliers. Somary matanjaka ity fomba ity satria tsy dia misy fiantraikany loatra amin'ny sanda tafahoatra.
3. Isa Z (mifototra amin'ny salan'isa sy ny fivilian-dàlana mahazatra)
Ny isa Z dia mandrefy ny halavitry ny sanda iray amin'ny salan'isa amin'ny singa fivilian-dàlana mahazatra.
– z = (x − salan'isa) / sd
Ny sanda misy |z| > 3 (indraindray > 2,5) dia matetika heverina ho outliers.
Fahalemena: raha efa misy outlier lehibe ny angona, dia misy fiantraikany amin'ny salan'isa sy ny sd ka mety tsy ho marina loatra ny fitiliana.
4. Fomba mifototra amin'ny modely sy fomba maro samihafa
Ho an'ny angon-drakitra misy fiovaovana maro, ny outliers dia tsy hita foana amin'ny tsanganana iray monja, fa amin'ny fitambaran'ny fiovaovana maromaro.
– Matetika ampiasaina hamantarana ireo outlier multivariate ny halavirana Mahalanobis.
– Ao amin'ny fianarana milina, misy fomba fiasa toy ny Isolation Forest, Local Outlier Factor (LOF), na One-Class SVM.
Ity fomba ity dia mety amin'ny angon-drakitra lehibe sy sarotra, ohatra ny fitadiavana tsy fetezan'ny fifanakalozana ara-bola.
Inona no tokony hatao raha mahita olona tsy fantatra ianao?
Ny tsara indrindra dia ny tsy mamafa azy ireo fotsiny. Amin'ny ankapobeny, ny dingana fitantanana ny outlier dia misy dingana maromaro:
1. Fanamarinana ny angon-drakitra
– Jereo raha misy fampidirana diso, famerenana indroa, na singa diso.
– Ampitahao amin'ny loharanon-kevitra tany am-boalohany (oh: taratasy fangatahana, diarin'ny sensor, na firaketana an-tsoratra).
2. Fantaro ny teny manodidina
- Misy dikany ve ireo soatoavina tafahoatra ao amin'ilay sehatra?
– Ohatra, azo antoka fa diso ny mari-pana 50°C an'ny vatan'olombelona; fa mety ho antonony kosa ny fidiram-bola 50 tapitrisa.
3. Fantaro ny tanjon'ny fanadihadiana
– Raha ny tanjona dia ny hahatakatra ny fitondran-tena "ankapobeny", dia mety ilaina ny mikarakara ireo zavatra tsy mahazatra mba hisorohana azy ireo tsy hanjaka.
– Raha ny tanjona dia ny hahita tranga tsy fahita firy (hosoka, tsy fahombiazan'ny milina), dia ireo zavatra tsy hita maso no tena ifantohana.
4. Misafidiana paikady fitantanana
Safidy mahazatra sasany:
– Fanesorana: atao raha toa ka voaporofo fa fahadisoana ilay zavatra tsy mifanaraka amin'ny zava-misy fa tsy maneho izany.
– Fiovan'ny angona: ohatra ny fiovan'ny log ho an'ny angona tsy mitongilana.
– Famerana ny sanda tafahoatra amin'ny percentile sasany (ohatra p1 sy p99).
– Mampiasà fomba matanjaka: mediana, IQR, regression matanjaka, na modely mahatohitra outlier.
– Fanadihadiana misaraka: indraindray dia mety kokoa ny mamakafaka ireo outlier ho toy ny tranga manokana.
Zava-dehibe ny tsy maintsy an-tsoratra ireo fanapahan-kevitra mba ho mangarahara sy azo tazonina ho tompon'andraikitra ny fanadihadiana.
Ireo tsy fantatra: Olana sa fampahalalana sarobidy?
Matetika ny "outliers" dia heverina ho "tabataba" satria mety hanova ny famintinana statistika. Na izany aza, amin'ny tranga maro, ny "outliers" no vavahady mankany amin'ny fahatakarana vaovao: ny fisian'ny mpanjifa premium, ny toe-pahasalaman'ny marary izay mitaky fikarakarana, dingana vaovao amin'ny fizotran'ny famokarana, na ny mety ho fisolokiana. Noho izany, ny "outliers" dia tokony ho raisina ho zavatra mila dinihina, fa tsy tokony holavina avy hatrany.
Famaranana
Ny "outlier" amin'ny statistika dia sanda izay mihataka be amin'ny lamina ankapobeny amin'ny angon-drakitra. Mety hipoitra noho ny lesoka, ny fiovaovana voajanahary, ny fiovan'ny dingana, na ny fahasamihafan'ny vondrona ao anatin'ny angon-drakitra ny "outlier". Mety hisy fiantraikany lehibe amin'ny salan'isa, ny fiovaovana, ny fitsapana statistika, ary ny modely faminaniana ny fiantraikan'izy ireo. Azo tanterahina amin'ny alàlan'ny fijerena an-tsary, ny fomba IQR, ny isa-z, ary na dia ny fomba fiasa multivariate sy ny fianarana milina aza ny fitadiavana "outlier". Tsy maintsy mandinika ny toe-javatra sy ny tanjona ny fikirakirana: fanamarinana, fahatakarana ny antony, ary avy eo misafidy paikady toy ny fanesorana, fanovana, famerana ny sanda, na fampiasana fomba matanjaka.
Raha takarina tsara, dia tsy "isa tsy mahazatra" fotsiny ireo outlier, fa singa manan-danja amin'ny fampiharana statistika izay afaka manatsara ny kalitaon'ny fanadihadiana sy fanapahan-kevitra mifototra amin'ny angona.
