Zer da estatistikan kanpoko bat?
Estatistikan, datuak dira fenomenoak ulertzeko lehengai nagusia: kontsumitzaileen portaera, proben emaitzak, pazienteen osasuna, ekoizpenaren kalitatea eta baita joera ekonomikoak ere. Hala ere, ez dute datu-puntu guztiek gehiengoaren moduan "jokatzen". Batzuetan, datu-multzoaren gainerakotik nabarmen desberdinak diren balio bat edo gehiago aurkitzen ditugu. Muturreko balio hauei muturreko balioak deitzen zaie. Muturreko balioak ulertzea garrantzitsua da, ondorio analitikoak alda ditzaketelako, eredu prediktiboetan eragina izan dezaketelako eta baita ikertzeko moduko gertaera garrantzitsuak adieraz ditzaketelako ere.
Kanpoko balioak ulertzea
Laburbilduz, muturreko balioa datu gehienetatik nabarmen desberdintzen den behaketa edo datu-balio bat da. Muturreko balioak eredu orokorra baino handiagoak (oso altuak) edo txikiagoak (oso baxuak) izan daitezke. Adibidez, ikasle gehienen proben puntuazioak 60-90 tartean badaude, eta 5 edo 100eko puntuazio bakar bat nabarmen desbideratzen bada, puntuazio hori muturreko baliotzat hartu beharko litzateke.
Garrantzitsua da azpimarratzea: kanpoko balio batek ez du beti "errore" bat esan nahi. Kanpoko balio batek balioa datu-multzoarekin alderatuta ezohikoa dela adierazten du, besterik gabe. Kanpoko balioak sarrera-erroreengatik, neurketa-tresna akastunengatik edo, besterik gabe, benetako gertaera arraro baina esanguratsuak islatzeagatik sor daitezke.
Adibide sinplea
Imajinatu 10 pertsonaren hileko diru-sarreren datuak (milioi errupiatan):
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
Hemen, 50 zenbakia nabarmen nabarmentzen da besteekin alderatuta. 50 akatsa al da? Irakurketa okerra izan liteke (5,0 izan beharko luke), baina zuzena ere izan liteke pertsona enpresa handi baten jabea delako. Nolanahi ere, 50 balio ez-ohikoa izaten jarraitzen du; desberdina dena analisian nola tratatzen dugun da.
Zergatik agertzen dira kanpokoak?
Hainbat arrazoi ohiko daude kanpokoak agertzeko:
1. Neurketa edo tresnaren errorea
Adibidez, tenperatura-sentsore batek batzuetan muturreko balioak irakur ditzake interferentziaren ondorioz.
2. Datuak grabatzean edo sartzean akatsak
Adibide klasikoak: 100 idaztea 100en ordez 1000, edo unitate okerrak (cm vs m).
3. Aldakortasun naturala
Mundu errealean, fenomeno arraroak baina errealistak daude: salmentak igotzea promozio handi baten ondorioz, paziente batek erantzun ezohikoa izatea sendagai bati edo atleta batek errekor muturreko bat ezartzea.
4. Prozesuan edo baldintzetan izandako aldaketak
Adibidez, fabrika batek makina-hutsegite bat jasaten du egun jakin batean, eta horrek produktu akastunen kopurua izugarri handitzea eragiten du.
5. Populazio mistoak
Datu-multzo batek hainbat talde desberdin konbinatuta izan ditzake. Adibidez, erdi mailako eta unibertsitateko ikasleen altuerak nahasiak dira; "muturreko" balio batzuk ez dira anomaliengatik ager daitezke, baizik eta taldeak benetan desberdinak direlako.
Balio atipikoen eragina analisi estatistikoan
Muturreko balioak garrantzitsuak dira, analisi baten emaitzetan nabarmen eragin dezaketelako, batez ere muturreko balioekiko sentikorrak diren metodoetan.
1. Batez bestekoari eragiten dio
Batez bestekoa erraz "tira" daiteke muturreko balioekin. Goiko diru-sarreren adibidean, batez bestekoa nabarmen puztuko litzateke 50eko balio batekin, nahiz eta gehienak 5-8 ingurukoak izan.
2. Desbideratze estandarra eta bariantza eragiten ditu
Bariantzaren kalkuluek batez bestekoarekiko karratu-diferentziak erabiltzen dituztenez, muturreko balioek bariantza eta desbideratze estandarra puztu ditzakete, datuak benetan baino "sakabatuago" daudela ematen baitute.
3. Atzerakada eta ikaskuntza automatikoaren eredu kezkagarriak
Erregresio linealean, muturreko balioek erregresio-lerroa okertu dezakete, datu gehienen iragarpenak eskasak bihurtuz. Algoritmo batzuetan, muturreko balioek eredua gehiegi egokitzea edo entrenamendu-parametroetan eragina izatea eragin dezakete.
4. Eragin-hipotesien probak
Muturreko balioek proba parametrikoetan erabili ohi diren normaltasun eta bariantzaren homogeneotasun hipotesiak urratu ditzakete, eta ondorioz, ondorio estatistikoak alboratuak bihurtzen dira.
Hala ere, muturreko balioak seinale garrantzitsuak ere izan daitezke. Iruzurren detekzioan, muturreko transakzioak dira, hain zuzen ere, bilatu nahi ditugunak. Osasun arloan, laborategiko emaitza nabarmen desberdinek egoera mediko larri bat adieraz dezakete.
Nola detektatu kanpoko balioak
Ez dago metodo "zuzen" bakar bat. Balio atipikoen detekzioa askotan testuinguruaren, datu motaren eta analisi helburuen araberakoa da. Hona hemen metodo ohikoenetako batzuk:
1. Bistaratze-prozesua: Kaxa-diagrama eta Sakabanaketa-diagrama
– Kaxa-diagramak oso ezagunak dira muturreko balioak hautemateko. Kaxa-diagrama batean, muturreko balioak normalean bibote-kutxatik kanpo geratzen diren puntu gisa markatzen dira.
– Sakabanaketa-diagramek bi aldagairen arteko erlazioan dauden muturreko balioak ikusten laguntzen dute, adibidez, pisua vs. altuera.
Bisualizazioa lehen urrats gisa erabilgarria da, azkarra eta intuitiboa delako.
2. IQR (Interquartil Range) metodoa
IQR metodoa aldagai bakarreko datuetarako (baria bakarrekoetarako) erabiltzen da askotan.
– Kalkulatu Q1 (1. kuartila) eta Q3 (3. kuartila)
– IQR = Q3 − Q1
– Beheko muga = Q1 − 1,5 × IQR
– Goiko muga = Q3 + 1,5 × IQR
Muga horietatik kanpoko balioak normalean muturrekotzat hartzen dira. Metodo hau nahiko sendoa da, muturreko balioek ez baitute eragin handirik jasaten.
3. Z-puntuazioa (batez bestekoa eta desbideratze estandarra oinarrituta)
Z puntuazioak balio bat batez bestekotik zenbateraino dagoen neurtzen du desbideratze estandar unitateetan.
– z = (x − batez bestekoa) / desbideratze-maila
|z| > 3 (batzuetan > 2,5) duten balioak askotan muturrekotzat hartzen dira.
Ahultasuna: datuek dagoeneko kanpoko balio handiak badituzte, batez bestekoa eta desbideratzea eragiten dira, eta detekzioa zehaztasun gutxiagokoa izan daiteke.
4. Ereduetan oinarritutako eta aldagai anitzeko metodoak
Aldagai anitzeko datuetan, muturreko balioak ez dira beti zutabe bakarrean ikusten, hainbat aldagairen konbinazio batean baizik.
– Mahalanobis distantzia askotan erabiltzen da aldagai anitzeko muturreko balioak detektatzeko.
– Makina-ikaskuntzan, badira Isolamendu-basoa, Tokiko kanpoko balioen faktorea (LOF) edo Klase bakarreko SVM bezalako ikuspegiak.
Metodo hau datu-multzo handi eta konplexuetarako egokia da, adibidez, finantza-transakzioen anomaliak detektatzeko.
Zer egin behar da kanpoko bat aurkitzen baduzu?
Ekintza-biderik onena ez da ezabatzea besterik gabe. Oro har, kanpoko egoerak kudeatzeko prozesuak hainbat urrats ditu:
1. Datuen egiaztapena
– Egiaztatu sarrera okerrak, bikoiztasunak edo unitate okerrak dauden.
– Konparatu jatorrizko datu-iturriarekin (adibidez, inprimakiak, sentsoreen erregistroak edo eskuzko erregistroak).
2. Testuingurua ulertu
– Muturreko balioek zentzurik ba al dute domeinuan?
– Adibidez, 50 °C-ko giza gorputzaren tenperatura ia ziur aski okerra da; baina 50 milioiko errenta arrazoizkoa izan daiteke.
3. Zehaztu analisiaren helburua
– Helburua “portaera orokorra” ulertzea bada, baliteke kanpoko balioak kudeatu beharko lirateke nagusitzea saihesteko.
– Helburua gertaera arraroak (iruzurra, makinaren matxura) aurkitzea bada, muturreko balioak dira arreta nagusia.
4. Aukeratu manipulazio estrategia bat
Aukera ohiko batzuk:
– Ezabatzea: kanpoko balioa errorea dela eta adierazgarria ez dela frogatzen bada egiten da.
– Datuen eraldaketa: adibidez, datu okertuetarako logaritmo-eraldaketa.
– Winsorizing / capping: muturreko balioak ehuneko jakin batzuetara mugatzea (adibidez, p1 eta p99).
– Erabili metodo sendoak: mediana, IQR, erregresio sendoa edo kanpoko balioekiko erresistenteak diren ereduak.
– Analisi bereizia: batzuetan egokiagoa da muturreko balioak kasu berezi gisa aztertzea.
Garrantzitsua da erabakiak dokumentatu egin behar direla, analisia gardena eta erantzule izan dadin.
Kanpoko balioak: arazoa ala informazio baliotsua?
Muturreko balioak askotan “zarata”tzat hartzen dira, laburpen estatistikoak distortsionatu ditzaketelako. Hala ere, kasu askotan, muturreko balioak informazio berrietarako atea dira: bezero segmentu premium baten existentzia, arreta behar duen pazientearen egoera, ekoizpen prozesuan fase berri bat edo iruzur potentziala. Beraz, muturreko balioak ikertu beharreko zerbait bezala tratatu behar dira, ez automatikoki baztertu.
Ondorioa
Estatistikan, kanpoko balioa datuen eredu orokorretik nabarmen aldentzen den balioa da. Kanpoko balioak erroreen, aldakuntza naturalen, prozesuen aldaketen edo datu-multzo bateko talde-desberdintasunen ondorioz sor daitezke. Haien eragina nabarmena izan daiteke batez bestekoan, bariantzan, proba estatistikoetan eta aurreikuspen-ereduetan. Kanpoko balioen detekzioa bistaratzearen, IQR metodoen, z puntuazioen eta baita aldagai anitzeko ikuspegien eta ikaskuntza automatikoaren bidez ere lor daiteke. Kudeaketak testuingurua eta helburuak kontuan hartu behar ditu: egiaztatu, arrazoiak ulertu eta gero estrategia bat aukeratu, hala nola balioak kendu, eraldatu, mugatu edo metodo sendoak erabili.
Ondo ulertuz gero, muturreko balioak ez dira "zenbaki bakoitiak" soilik, baizik eta datuetan oinarritutako analisi eta erabakien kalitatea hobetu dezaketen praktika estatistikoaren elementu garrantzitsuak.
