O le ā le Outlier i Fuainumera
I fuainumera, o faʻamaumauga o le mea autū lea e malamalama ai i mea tutupu: amioga a tagata faʻatau, taunuuga o suʻega, soifua maloloina o maʻi, lelei o le gaosiga, ma e oʻo lava i aga masani tau tamaoaiga. Peitaʻi, e le o faʻamaumauga uma e "amio" e pei o le toʻatele. O nisi taimi tatou te fetaiaʻi ma le tasi pe sili atu tau e foliga mai e matuā ese lava mai isi faʻamaumauga. O nei mea e le o iloa e taʻua o mea e le o iloa. O le malamalama i mea e le o iloa e taua tele aua e mafai ona latou suia faʻaiʻuga auʻiliʻili, faʻaosofia ai faʻataʻitaʻiga vavalo, ma e oʻo lava i le faʻailoa mai o mea taua e tatau ona suʻesuʻeina.
Malamalama i Tagata Ese
I se faaupuga faigofie, o se outlier o se matauga po o se tau o faʻamaumauga e matua ese lava mai le tele o faʻamaumauga. E mafai ona maualuga atu (matua maualuga) pe maualalo ifo (matua maualalo) outliers nai lo le mamanu lautele. Mo se faʻataʻitaʻiga, afai o le tele o togi o suega a tamaiti aʻoga e pa'ū i le va o le 60–90, ma o se togi e tasi o le 5 pe 100 e matua ese lava, e tatau ona masalomia lena togi o se outlier.
E tāua le fa'amamafa: o se outlier e lē o lona uiga o se "mea sese." O se outlier e fa'ailoa mai ai e lē masani le tau pe a fa'atusatusa i le seti o fa'amaumauga. E mafai ona tula'i mai outliers mai mea sese i totonu, mea fa'atino fua e le lelei, pe na'o le atagia mai o mea tutupu e seasea tupu ae taua i le lalolagi moni.
Faʻataʻitaʻiga faigofie
Se'i mafaufau i fa'amaumauga o tupe maua fa'alemasina (i le miliona rupiah) a tagata e to'a 10:
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
O iinei, e matuā iloga le numera 50 pe a faatusatusa i isi. Pe o se mea sese ea le 50? Atonu o se mea sese le faitauina (e tatau ona 5,0), ae atonu foi e sa'o ona o le tagata o se pisinisi tele. Po o le a lava le tulaga, e tumau pea le 50 o se mea e le masani ai—o le mea e ese ai o le auala tatou te taulimaina ai i le auiliiliga.
Aiseā e Foliga Mai ai ni Outliers?
E tele mafuaʻaga masani mo le aliali mai o mea e le masani ai:
1. Sese o le fuaina po'o le meafaigaluega
Mo se faʻataʻitaʻiga, e ono faitauina e se masini e iloa ai le vevela ni tau maualuluga ona o le faʻalavelave.
2. Sese i le faamaumauina po o le tuuina atu o faamatalaga
Faʻataʻitaʻiga masani: taina o le 1000 ae le o le 100, pe sese iunite (cm vs m).
3. Suiga masani
I le lalolagi moni, e iai ni mea e seasea tutupu ae e mafai ona tupu: o le faateleina o faatau ona o se faalauiloa tele, o se tali atu e le masani ai a se maʻi i se vailaau, pe o se tagata taalo ua ia faia se faamaumauga e matua leaga lava.
4. Suiga i faiga po o tulaga
Mo se faʻataʻitaʻiga, e iai se faʻaletonu o masini i se falegaosimea i se aso patino, ma mafua ai ona faʻateleina tele oloa leaga.
5. Faitau aofa'i fefiloi
E mafai ona aofia ai i se seti o fa'amaumauga ni vaega eseese se tele ua tu'ufa'atasia. Mo se fa'ata'ita'iga, e fefiloi le maualuga o tamaiti a'oga tulaga lua ma le kolisi; o nisi o tau "matuā" e ono aliali mai e le ona o ni mea e le masani ai, ae ona e matuā eseese lava vaega.
O le Aafiaga o Outliers i le Iloiloga Fa'amaufa'ailoga
E taua tele fa'amatalaga i fafo auā e mafai ona latou a'afia tele ai taunu'uga o se su'esu'ega, aemaise lava i metotia e ma'ale'ale i tulaga ogaoga.
1. A'afia ai le averesi (averesi)
E faigofie ona "tosoina" le averesi e tulaga ogaoga. I le faʻataʻitaʻiga o tupe maua o loʻo i luga, o le averesi o le a matua faʻateleina i le tau o le 50, e ui lava o le toatele e tusa ma le 5–8.
2. A'afia ai le tulaga fa'aletonu ma le fesuia'iga
Ona o le fa'atusatusaga o le fesuia'iga e aofia ai eseesega fa'atafafa mai le averesi, e mafai e outliers ona fa'ateleina le fesuia'iga ma le fa'asologa masani, ma foliga mai ai o fa'amaumauga e sili atu ona "fa'asalalau" nai lo le mea moni.
3. Fa'alavelave fa'aletonu o le regression ma fa'ata'ita'iga o le masini a'oa'oina
I le linear regression, e mafai e outliers ona fa'api'opi'o le laina regression, ma mafua ai ona le lelei valo'aga mo le tele o fa'amaumauga. I nisi algorithms, e mafai e outliers ona mafua ai ona soona fetaui le fa'ata'ita'iga pe a'afia ai fo'i fa'atulagaga o a'oa'oga.
4. Su'ega o le manatu fa'atosina
E mafai e mea e le o aofia ai (outliers) ona solia manatu o le tulaga masani ma le tutusa o le eseesega (homogeneity of variance) ia e masani ona faʻaaogaina i suega parametric, ina ia avea ai faʻaiʻuga faʻamaumauga ma itu e faʻaituau.
Peita'i, e mafai fo'i ona avea fa'ailoga e le o iloa ma fa'ailoga taua. I le iloa o faiga taufaasese, o fefa'ataua'iga e le o iloa o le mea tonu lava lea tatou te manana'o e va'ava'ai i ai. I le tausiga o le soifua maloloina, o taunuuga eseese o su'esu'ega e mafai ona fa'ailoa mai ai se tulaga fa'afoma'i ogaoga.
Auala e Iloa ai Mea e Le o Iloa
E leai se metotia "sa'o" e tasi. O le iloa o mea e le o iai i fafo e masani ona fa'alagolago i le anotusi, ituaiga fa'amaumauga, ma sini o le au'ili'iliga. O nisi nei o metotia masani:
1. Va'aiga Fa'apitoa: Boxplot ma Scatterplot
– E lauiloa tele boxplots mo le va'aia o mea e le o aofia ai (outliers). I totonu o se boxplot, e masani ona fa'ailogaina outliers o ni togi e pa'ū i fafo atu o le pusa whisker.
– E fesoasoani fa'asalalauga fa'asalalau e iloa ai mea e ese mai le sootaga i le va o fesuia'iga e lua, mo se fa'ata'ita'iga mamafa vs umi.
E aogā le fa'aaliga fa'alemafaufau o se la'asaga muamua auā e vave ma faigofie ona malamalama i ai.
2. Metotia o le IQR (Interquartile Range)
E masani ona faʻaaogaina le metotia IQR mo faʻamaumauga e tasi le fesuiaʻiga (univariate).
– Fuafua le Q1 (kuatale 1) ma le Q3 (kuatale 3)
– IQR = Q3 − Q1
– Tapula'a maualalo = Q1 − 1,5 × IQR
– Tapula'a pito i luga = Q3 + 1,5 × IQR
O tau i tua atu o nei tapula'a e masani ona manatu i ai o ni tau i fafo. O lenei metotia e fai si malosi ona e le tele se aafiaga i tau ogaoga.
3. Sikoa-Z (e faʻavae i luga o le averesi ma le faʻasologa masani)
O le Z-score e fua ai le mamao o se tau mai le averesi i iunite fa'asolosolo masani.
– z = (x − averesi) / sd
O tau e iai le |z| > 3 (o nisi taimi > 2,5) e masani ona manatu i ai o ni mea e ese mai ai.
Vaivaiga: afai o loʻo iai ni faʻailoga tetele i totonu o faʻamaumauga, o le a aʻafia ai le averesi ma le sd o lea e ono le saʻo ai le iloa.
4. Metotia fa'avae i fa'ata'ita'iga ma metotia eseese
Mo faʻamaumauga e tele-fesuiaiga, e le o taimi uma e vaʻaia ai outliers i le na o le tasi koluma, ae i se tuʻufaʻatasiga o le tele o fesuiaʻiga.
– E masani ona fa'aaogaina le mamao o Mahalanobis e iloa ai le tele o mea e le o iai i fafo.
– I le aʻoaʻoina o masini, e iai auala e pei o le Isolation Forest, Local Outlier Factor (LOF), poʻo le One-Class SVM.
E talafeagai lenei metotia mo faʻamaumauga tetele ma lavelave, mo se faʻataʻitaʻiga, le iloa o mea sese i fefaʻatauaiga tau tupe.
O le ā e Fai pe a E Maua se Tagata e Ese Mai Ia Te Oe?
O le auala sili e fai ai, e lē na o le tapeina. I se tulaga lautele, o le faagasologa o le taulimaina o mea e lē o aofia ai e aofia ai ni laasaga se tele:
1. Fa'amaoniga o fa'amaumauga
– Siaki pe sese le fa'aofiina, toe faia faalua, pe sese iunite.
– Fa'atusatusa i le puna muamua o fa'amatalaga (e.g. pepa, fa'amaumauga o masini fa'alogo, po'o fa'amaumauga tusi lesona).
2. Malamalama i le talaaga
– E talafeagai ea tulaga faatauaina maualuluga i totonu o le matāʻupu?
– Mo se faʻataʻitaʻiga, o le vevela o le tino o le tagata e 50°C e toetoe lava a mautinoa e sese; ae o se tupe maua e 50 miliona atonu e talafeagai.
3. Fuafua le fa'amoemoega o le su'esu'ega
– Afai o le sini ia malamalama i amioga "lautele", atonu e manaʻomia ona taulimaina mea e le o aofia ai e taofia ai i latou mai le pulea.
– Afai o le sini o le sailia lea o ni mea e seasea tutupu (taufaasese, faaletonu o masini), o mea e le o iai i fafo o le autu lea e taula’i i ai.
4. Filifili se fuafuaga taulima
O nisi o filifiliga masani:
– Aveesea: faia pe afai ua faʻamaonia o le mea e le o iai i fafo o se mea sese ma e le o se faʻataʻitaʻiga.
– Suiga o faʻamaumauga: mo se faʻataʻitaʻiga, suiga o le log mo faʻamaumauga faʻapiʻopiʻo.
– Fa'amamaluina / fa'atapula'aina: fa'atapula'aina o tau fa'apitoa i nisi pasene (e.g. p1 ma le p99).
– Faaaoga metotia malolosi: median, IQR, robust regression, poʻo faʻataʻitaʻiga e teteʻe i fafo.
– Au'ili'iliga eseese: o nisi taimi e sili atu ona talafeagai le au'ili'iliina o mea e le o iai i fafo o ni tulaga fa'apitoa.
E tāua tele, e tatau ona fa'amaumauina fa'ai'uga ina ia manino ma mafai ona tali atu i ai le au'ili'iliga.
Fa'amatalaga Fa'apitoa: Fa'afitauli po'o Fa'amatalaga Taua?
E masani ona ta'ua tagata e le o ni tagata o iai i fafo o se "pisapisao" auā e mafai ona latou fa'aseseina ai aotelega fa'amaumauga. Peita'i, i le tele o tulaga, o tagata e le o iai i fafo o le faitoto'a lea i ni malamalamaga fou: o le iai o se vaega o tagata fa'atau taugata, o se tulaga o le ma'i e mana'omia le gauai atu i ai, o se la'asaga fou i le faiga o le gaosiga, po'o ni faiga taufaasese. O le mea lea, e tatau ona va'aia tagata e le o iai i fafo o se mea e mana'omia ona su'esu'eina, ae le o le fa'ate'aina fa'afuase'i.
I'uga
O se tulaga ese i fuainumera o se tau e matuā ese lava mai le mamanu lautele o faʻamaumauga. E mafai ona tulaʻi mai tulaga ese ona o mea sese, suiga masani, suiga o le faagasologa, poʻo eseesega o vaega i totonu o se seti o faʻamaumauga. E mafai ona taua tele lo latou aʻafiaga i le averesi, eseesega, suega faʻamaumauga, ma faʻataʻitaʻiga vavalo. E mafai ona ausia le iloa o tulaga ese e ala i le vaʻaia, metotia IQR, togi-z, ma e oʻo lava i auala eseese ma le aʻoaʻoina o masini. E tatau i le taulimaina ona mafaufau i le talaaga ma sini: faʻamaonia, malamalama i mafuaʻaga, ona filifilia lea o se fuafuaga e pei o le aveeseina, suia, faʻatapulaʻaina o tau, poʻo le faʻaaogaina o metotia malolosi.
A malamalama lelei, o fuainumera e le o ni "numera uiga ese," ae o ni elemene taua o faiga faʻafuainumera e mafai ona faʻaleleia atili ai le lelei o auʻiliʻiliga ma faʻaiuga e faʻavae i faʻamaumauga.
