Hvað er útlægur í tölfræði
Í tölfræði eru gögn aðalhráefnið til að skilja fyrirbæri: neytendahegðun, niðurstöður prófa, heilsufar sjúklinga, gæði framleiðslu og jafnvel efnahagsþróun. Hins vegar „hegða“ ekki allir gagnapunktar sér eins og meirihlutinn. Stundum rekumst við á eitt eða fleiri gildi sem virðast marktækt frábrugðin restinni af gagnasafninu. Þessir útlægir þættir eru þekktir sem útlægir þættir. Það er mikilvægt að skilja útlæga þætti því þeir geta breytt greiningarniðurstöðum, haft áhrif á spálíkön og jafnvel bent til mikilvægra atburða sem vert er að rannsaka.
Að skilja útlæga einstaklinga
Einfaldlega sagt er útlægur punktur athugun eða gagnagildi sem er marktækt frábrugðið meirihluta gagnanna. Útlægir punktar geta verið hærri (mjög háir) eða lægri (mjög lágir) en almenna mynstrið. Til dæmis, ef prófskor meirihluta nemenda eru á bilinu 60–90, og ein einkunn upp á 5 eða 100 víkur marktækt frá, ætti að gruna þá einkunn sem útlæga punkta.
Mikilvægt er að leggja áherslu á að útlægur gildi þýðir ekki alltaf „villa“. Útlægur gildi gefur einfaldlega til kynna að gildið sé óvenjulegt miðað við gagnasafnið. Útlæg gildi geta stafað af innsláttarvillum, gölluðum mælitækjum eða einfaldlega endurspeglað sjaldgæfa en mikilvæga atburði í raunheimum.
Einfalt dæmi
Ímyndaðu þér mánaðarlegar tekjur (í milljónum rúpía) 10 manns:
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
Hér sker talan 50 sig verulega úr í samanburði við hinar. Er 50 villa? Það gæti verið misskilningur (hún ætti að vera 5,0), en hún gæti líka verið rétt vegna þess að viðkomandi er stórfyrirtækjaeigandi. Í báðum tilvikum er 50 útlæg tala - það sem skiptir máli er hvernig við meðhöndlum hana í greiningunni.
Af hverju birtast útlægir einstaklingar?
Það eru nokkrar algengar orsakir fyrir því að útlægir þættir birtast:
1. Mælingar- eða verkfæravilla
Til dæmis getur hitaskynjari stundum lesið öfgafull gildi vegna truflana.
2. Villur í skráningu eða innslætti gagna
Klassísk dæmi: að slá inn 1000 í stað 100, eða rangar einingar (cm á móti m).
3. Náttúruleg breytileiki
Í hinum raunverulega heimi eru til sjaldgæf en raunhæf fyrirbæri: sala hækkar vegna stórrar kynningar, sjúklingur bregst óvenjulega við lyfi eða íþróttamaður setur öfgafullt met.
4. Breytingar á ferli eða skilyrðum
Til dæmis bilar vél í verksmiðju á ákveðnum degi, sem veldur því að fjöldi gallaðra vara eykst gríðarlega.
5. Blandaðir íbúar
Gagnasafn getur innihaldið nokkra mismunandi hópa saman. Til dæmis er hæð nemenda í miðskóla og háskóla blandað saman; sum „öfgakennd“ gildi geta birst ekki vegna frávika, heldur vegna þess að hóparnir eru í raun ólíkir.
Áhrif útlægra gilda á tölfræðilega greiningu
Útlægir gildi eru mikilvægir vegna þess að þeir geta haft veruleg áhrif á niðurstöður greiningar, sérstaklega í aðferðum sem eru viðkvæmar fyrir öfgakenndum gildum.
1. Hefur áhrif á meðaltalið
Meðaltalið er auðveldlega „dregið“ af öfgakenndum gildum. Í tekjudæminu hér að ofan væri meðaltalið verulega hækkað um gildið 50, jafnvel þótt meirihlutinn sé á bilinu 5–8.
2. Hefur áhrif á staðalfrávik og dreifni
Þar sem dreifniútreikningar fela í sér ferninga frávik frá meðaltali geta útlægir tölur blásið upp dreifni og staðalfrávik, sem gerir það að verkum að gögnin eru „dreifðari“ en þau í raun eru.
3. Óþægilegar aðhvarfs- og vélanámslíkön
Í línulegri aðhvarfsgreiningu geta útlægar tölur skekkt aðhvarfsgreiningarlínuna, sem gerir spár lélegar fyrir meirihluta gagnanna. Í sumum reikniritum geta útlægar tölur valdið því að líkanið ofpassar eða hefur áhrif á þjálfunarbreyturnar.
4. Prófun á áhrifatilgátum
Útlægir tölur geta brotið gegn forsendum um normalgildi og einsleitni dreifni sem oft eru notaðar í stikprófum, þannig að tölfræðilegar niðurstöður verði skekktar.
Hins vegar geta útlægar tölur einnig verið mikilvæg merki. Við uppgötvun svika eru útlægar færslur einmitt það sem við viljum leita að. Í heilbrigðisþjónustu geta verulega mismunandi rannsóknarniðurstöður bent til alvarlegs sjúkdóms.
Hvernig á að greina útlæga þætti
Það er engin ein „rétt“ aðferð. Greining á útlægum gildum fer oft eftir samhengi, gagnategund og markmiðum greiningarinnar. Hér eru nokkrar algengar aðferðir:
1. Sjónræn framsetning: Kassarit og Punktarit
– Kassarit eru mjög vinsæl til að greina útlæga punkta. Í kassaritum eru útlægir punktar venjulega merktir sem punktar sem falla utan við kassann.
– Punktarit hjálpa til við að sjá útlaga í sambandi tveggja breyta, til dæmis þyngd á móti hæð.
Sjónræn framsetning er gagnleg sem fyrsta skref því hún er fljótleg og innsæisrík.
2. Fjórðungsbilsaðferð (IQR)
IQR aðferðin er oft notuð fyrir gögn með einni breytu (einbreytu).
– Reiknaðu Q1 (fjórðung 1) og Q3 (fjórðung 3)
– IQR = Q3 − Q1
– Neðri mörk = Q1 − 1,5 × IQR
– Efri mörk = Q3 + 1,5 × IQR
Gildi utan þessara marka eru yfirleitt talin vera útlæg. Þessi aðferð er tiltölulega traust því hún verður ekki fyrir miklum áhrifum af öfgakenndum gildum.
3. Z-stig (byggt á meðaltali og staðalfráviki)
Z-stigið mælir hversu langt gildi er frá meðaltali í staðalfrávikseiningum.
– z = (x − meðaltal) / staðalfrávik
Gildi með |z| > 3 (stundum > 2,5) eru oft talin útlæg.
Veikleiki: ef gögnin innihalda þegar stór útlæg gildi, þá hafa þau áhrif á meðaltal og staðalfrávik þannig að greiningin getur verið ónákvæmari.
4. Líkanabundnar og fjölbreytuaðferðir
Fyrir gögn með mörgum breytum eru útlægir gildi ekki alltaf sýnileg í aðeins einum dálki, heldur í samsetningu nokkurra breyta.
– Fjarlægð Mahalanobis er oft notuð til að greina fjölbreytuútlæga gildi.
– Í vélanámi eru til aðferðir eins og einangrunarskógur, staðbundinn útlagaþáttur (LOF) eða eins-flokks SVM.
Þessi aðferð hentar vel fyrir stór og flókin gagnasöfn, til dæmis fyrir greiningu frávika í fjárhagslegum viðskiptum.
Hvað á að gera ef þú finnur útlægan einstakling?
Besta leiðin er ekki að eyða þeim einfaldlega. Almennt felur ferlið við meðhöndlun á útlægum gögnum í sér nokkur skref:
1. Gagnastaðfesting
– Athugaðu hvort rangt sé að slá inn, hvort tvöföldun eða rangar einingar séu til staðar.
– Berið saman við upprunalegu gagnaheimildina (t.d. eyðublöð, skynjaraskrár eða handvirkar skrár).
2. Skilja samhengið
– Eru öfgagildin rökrétt á þessu sviði?
– Til dæmis er líkamshiti manns upp á 50°C næstum örugglega rangur; en tekjur upp á 50 milljónir gætu verið sanngjarnar.
3. Ákvarða tilgang greiningarinnar
– Ef markmiðið er að skilja „almenna“ hegðun gæti þurft að takast á við útlæga einstaklinga til að koma í veg fyrir að þeir verði ráðandi.
– Ef markmiðið er að finna sjaldgæfa atburði (svik, bilun í vél) eru útlægir atburðir aðaláherslan.
4. Veldu meðhöndlunaraðferð
Nokkrir algengir valkostir:
– Fjarlæging: gert ef útlægur gildir sem sannað er að sé villa og ekki dæmigerður.
– Gagnaumbreyting: til dæmis lógaritmaumbreyting fyrir skekkt gögn.
– Winsorizing / capping: að takmarka öfgagildi við ákveðin hundraðshluti (t.d. p1 og p99).
– Notið traustar aðferðir: miðgildi, millistigsgreiningu, traust aðhvarfsgreiningu eða líkön sem eru ónæm fyrir útlægum.
– Aðskilin greining: stundum er viðeigandi að greina útlaga sem sértilvik.
Mikilvægt er að ákvarðanir séu skjalfestar svo að greiningin sé gagnsæ og ábyrg.
Útlægir þættir: Vandamál eða verðmætar upplýsingar?
Útlægir þættir eru oft taldir vera „hávaði“ því þeir geta skekkt tölfræðilegar samantektir. Hins vegar eru útlægir þættir í mörgum tilfellum lykillinn að nýjum innsýnum: tilvist ákveðins hóps viðskiptavina, sjúklingaástands sem krefst athygli, nýs stigs í framleiðsluferlinu eða hugsanlegs sviks. Þess vegna ætti að meðhöndla útlæga þætti sem eitthvað sem þarf að rannsaka, ekki sjálfkrafa hafna.
Niðurstaða
Útlægur gildi í tölfræði er gildi sem víkur verulega frá almennu mynstri gagnanna. Útlæg gildi geta komið upp vegna villna, náttúrulegra breytileika, breytinga á ferlum eða hópmismunar innan gagnasafns. Áhrif þeirra geta verið mikil á meðaltal, dreifni, tölfræðileg próf og spálíkön. Hægt er að greina útlæg gildi með sjónrænum aðferðum, greiningaraðferðum, z-stigum og jafnvel fjölbreytuaðferðum og vélanámi. Meðhöndlun verður að taka tillit til samhengis og markmiða: staðfesta, skilja orsakir og síðan velja stefnu eins og að fjarlægja, umbreyta, takmarka gildi eða nota öflugar aðferðir.
Með réttri skilningi eru útlagatölur ekki bara „oddatölur“ heldur mikilvægir þættir í tölfræðilegri starfsháttum sem geta bætt gæði gagnadrifinna greininga og ákvarðana.
