Çfarë është një përjashtim në statistikë
Në statistikë, të dhënat janë lënda e parë parësore për të kuptuar fenomenet: sjelljen e konsumatorit, rezultatet e testeve, shëndetin e pacientit, cilësinë e prodhimit dhe madje edhe trendet ekonomike. Megjithatë, jo të gjitha pikat e të dhënave "sillen" si shumica. Ndonjëherë hasim një ose më shumë vlera që duken dukshëm të ndryshme nga pjesa tjetër e të dhënave. Këto vlera të jashtëzakonshme njihen si vlera të jashtëzakonshme. Të kuptuarit e vlerave të jashtëzakonshme është e rëndësishme sepse ato mund të ndryshojnë përfundimet analitike, të ndikojnë në modelet parashikuese dhe madje të tregojnë ngjarje të rëndësishme që ia vlen të hetohen.
Kuptimi i Çështjeve të Jashtëzakonshme
Thënë thjesht, një vlerë e jashtëzakonshme është një vëzhgim ose vlerë e të dhënave që ndryshon ndjeshëm nga shumica e të dhënave. Vlerat e jashtëzakonshme mund të jenë më të larta (jashtëzakonisht të larta) ose më të ulëta (jashtëzakonisht të ulëta) se modeli i përgjithshëm. Për shembull, nëse shumica e rezultateve të testeve të studentëve bien në rangun 60-90, dhe një rezultat i vetëm prej 5 ose 100 devijon ndjeshëm, ai rezultat duhet të dyshohet si një vlerë e jashtëzakonshme.
Është e rëndësishme të theksohet: një vlerë e jashtëzakonshme nuk do të thotë gjithmonë një "gabim". Një vlerë e jashtëzakonshme thjesht tregon se vlera është e pazakontë krahasuar me të dhënat. Vlerat e jashtëzakonshme mund të lindin nga gabimet e të dhënave hyrëse, instrumentet matëse me defekte ose thjesht pasqyrojnë ngjarje të rralla, por të rëndësishme të botës reale.
Shembull i thjeshtë
Imagjinoni të dhënat e të ardhurave mujore (në milion rupi) të 10 personave:
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
Këtu, numri 50 bie ndjeshëm në sy krahasuar me të tjerët. A është 50 një gabim? Mund të jetë një keqinterpretim (duhet të jetë 5,0), por mund të jetë edhe i saktë sepse personi është pronar i një biznesi të madh. Në të dyja rastet, 50 mbetet një përjashtim - ajo që është e ndryshme është mënyra se si e trajtojmë atë në analizë.
Pse shfaqen vlerat e jashtëzakonshme?
Ekzistojnë disa shkaqe të zakonshme të shfaqjes së devijimeve:
1. Gabim matjeje ose mjeti
Për shembull, një sensor temperature ndonjëherë mund të lexojë vlera ekstreme për shkak të ndërhyrjes.
2. Gabime në regjistrimin ose futjen e të dhënave
Shembuj klasikë: shtypja e 1000 në vend të 100, ose njësi të gabuara (cm kundrejt m).
3. Variacioni natyror
Në botën reale, ka fenomene të rralla por realiste: rritje e shitjeve për shkak të një promovimi të madh, një pacient ka një reagim të pazakontë ndaj një ilaçi ose një atlet vendos një rekord ekstrem.
4. Ndryshime në proces ose kushte
Për shembull, një fabrikë përjeton një defekt makinerie në një ditë të caktuar, duke bërë që numri i produkteve me defekt të rritet në mënyrë drastike.
5. Popullata të përziera
Një grup të dhënash mund të përmbajë disa grupe të ndryshme të kombinuara. Për shembull, gjatësitë e nxënësve të shkollës së mesme dhe të kolegjit janë të përziera; disa vlera "ekstreme" mund të shfaqen jo për shkak të anomalive, por sepse grupet janë vërtet të ndryshme.
Ndikimi i Vlerave të Jashtëzakonshme në Analizën Statistikore
Vlerat e jashtëzakonshme janë të rëndësishme sepse ato mund të ndikojnë ndjeshëm në rezultatet e një analize, veçanërisht në metodat që janë të ndjeshme ndaj vlerave ekstreme.
1. Ndikon në mesataren (mesataren)
Mesatarja "tërhiqet" lehtësisht nga vlerat ekstreme. Në shembullin e të ardhurave më sipër, mesatarja do të fryhej ndjeshëm me një vlerë prej 50, edhe pse shumica janë rreth 5-8.
2. Ndikimi devijimi standard dhe ndryshimi
Sepse llogaritja e variancës Duke përfshirë ndryshime në katror nga mesatarja, vlerat ekstreme mund ta fryjnë variancën dhe devijimin standard, duke e bërë të duket sikur të dhënat janë më të “shpërndara” nga sa janë në të vërtetë.
3. Çrregullimi i modelit të regresionit dhe Mësimi makinë
Në regresion linear, vlerat e jashtëzakonshme mund ta shtrembërojnë vijën e regresionit, duke i bërë parashikimet të dobëta për shumicën e të dhënave. Në disa algoritme, vlerat e jashtëzakonshme mund të shkaktojnë që modeli të mbipërshtatet ose të ndikojë në parametrat e trajnimit.
4. Ndikimi testimi i hipotezave
Vlerat e jashtëzakonshme mund të shkelin supozimet e normalitetit dhe homogjenitetit të variancës që përdoren shpesh në testet parametrike, në mënyrë që përfundimet statistikore të bëhen të anshme.
Megjithatë, edhe treguesit e jashtëzakonshëm mund të jenë sinjale të rëndësishme. Në zbulimin e mashtrimit, transaksionet me tregues të jashtëzakonshëm janë pikërisht ajo që duam të kërkojmë. Në kujdesin shëndetësor, rezultatet laboratorike me ndryshime të konsiderueshme mund të tregojnë një gjendje të rëndë mjekësore.
Si të zbulohen vlerat e jashtëzakonshme
Nuk ka një metodë të vetme "të saktë". Zbulimi i vlerave të jashtëzakonshme shpesh varet nga konteksti, lloji i të dhënave dhe objektivat e analizës. Ja disa metoda të zakonshme:
1. Vizualizimi: Boxplot dhe Scatterplot
– Diagramet në kuti janë shumë të njohura për të dalluar vlerat e jashtëzakonshme. Në një diagram në kuti, vlerat e jashtëzakonshme zakonisht shënohen si pika që bien jashtë kutisë së mustaqeve.
– Grafikët e shpërndarjes ndihmojnë për të parë vlerat e jashtëzakonshme në marrëdhënien midis dy variablave, për shembull pesha kundrejt gjatësisë.
Vizualizimi është i dobishëm si hap i parë sepse është i shpejtë dhe intuitiv.
2. Metoda IQR (Interkuartile Range)
Metoda IQR përdoret shpesh për të dhëna me një ndryshore të vetme (univariate).
– Llogaritni Q1 (kuartili 1) dhe Q3 (kuartili 3)
– IQR = Q3 − Q1
– Kufiri i poshtëm = Q1 − 1,5 × IQR
– Kufiri i sipërm = Q3 + 1,5 × IQR
Vlerat jashtë këtyre kufijve zakonisht konsiderohen vlera të jashtëzakonshme. Kjo metodë është relativisht e fuqishme sepse nuk ndikohet shumë nga vlerat ekstreme.
3. Rezultati Z (bazuar në mesataren dhe devijimin standard)
Rezultati Z mat se sa larg është një vlerë nga mesatare në njësi devijimi standard.
– z = (x − mesatare) / sd
Vlerat me |z| > 3 (ndonjëherë > 2,5) shpesh konsiderohen vlera të jashtëzakonshme.
Dobësi: nëse të dhënat tashmë përmbajnë vlera të jashtëzakonshme, mesatarja dhe sd ndikohen në mënyrë që zbulimi të jetë më pak i saktë.
4. Metodat e bazuara në model dhe shumëvariabël
Për të dhënat me shumë variabla, vlerat e jashtëzakonshme nuk janë gjithmonë të dukshme vetëm në një kolonë, por në një kombinim të disa variablave.
– Distanca Mahalanobis përdoret shpesh për të zbuluar vlerat e jashtëzakonshme shumëvariabël.
– Në të mësuarit automatik, ekzistojnë qasje të tilla si Pylli i Izolimit, Faktori Lokal i Jashtëzakonshëm (LOF) ose SVM me një klasë.
Kjo metodë është e përshtatshme për grupe të dhënash të mëdha dhe komplekse, për shembull zbulimin e anomalive të transaksioneve financiare.
Çfarë duhet të bëni nëse gjeni një të jashtëzakonshëm?
Veprimi më i mirë nuk është thjesht fshirja e tyre. Në përgjithësi, procesi i trajtimit të vlerave të jashtëzakonshme përfshin disa hapa:
1. Verifikimi i të dhënave
– Kontrolloni për futje të pasaktë, dyfishim ose njësi të pasakta.
– Krahasojeni me burimin origjinal të të dhënave (p.sh., formularët, regjistrat e sensorëve ose të dhënat manuale).
2. Kuptoni kontekstin
– A kanë kuptim vlerat ekstreme në këtë domen?
– Për shembull, një temperaturë trupi njerëzor prej 50°C është pothuajse me siguri e gabuar; por një të ardhur prej 50 milionësh mund të jetë e arsyeshme.
3. Përcaktoni qëllimin e analizës
– Nëse qëllimi është të kuptohet sjellja “e përgjithshme”, mund të duhet të trajtohen faktorët e jashtëzakonshëm për të parandaluar dominimin e tyre.
– Nëse qëllimi është të gjenden ngjarje të rralla (mashtrim, dështim i makinerisë), fokusi kryesor janë ngjarjet e jashtëzakonshme.
4. Zgjidhni një strategji trajtimi
Disa opsione të zakonshme:
– Heqja: bëhet nëse vlera e jashtëzakonshme vërtetohet të jetë një gabim dhe jo përfaqësuese.
– Transformimi i të dhënave: për shembull transformimi logaritmik për të dhëna të shtrembëruara.
– Përcaktimi i vlerave ekstreme / kufizimi i tyre: kufizimi i vlerave ekstreme në disa përqindje (p.sh. p1 dhe p99).
– Përdorni metoda të forta: medianë, IQR, regresion të fortë ose modele rezistente ndaj vlerave të jashtëzakonshme.
– Analizë e veçantë: ndonjëherë është më e përshtatshme të analizohen vlerat e jashtëzakonshme si raste të veçanta.
Është e rëndësishme që vendimet të dokumentohen në mënyrë që analiza të jetë transparente dhe e përgjegjshme.
Jashtëzakonshme: Problem apo informacion i vlefshëm?
Vlerat e jashtëzakonshme shpesh konsiderohen "zhurmë" sepse mund të shtrembërojnë përmbledhjet statistikore. Megjithatë, në shumë raste, vlerat e jashtëzakonshme janë porta drejt njohurive të reja: ekzistenca e një segmenti klientësh premium, një gjendje pacienti që kërkon vëmendje, një fazë e re në procesin e prodhimit ose mashtrim i mundshëm. Prandaj, vlerat e jashtëzakonshme duhet të trajtohen si diçka që duhet të hetohet, jo të hidhen poshtë automatikisht.
konkluzioni
Një vlerë e jashtëzakonshme në statistikë është një vlerë që devijon ndjeshëm nga modeli i përgjithshëm i të dhënave. Vlerat e jashtëzakonshme mund të lindin për shkak të gabimeve, variacionit natyror, ndryshimeve të procesit ose ndryshimeve në grup brenda një grupi të dhënash. Ndikimi i tyre mund të jetë i rëndësishëm në mesataren, variancën, testet statistikore dhe modelet parashikuese. Zbulimi i vlerave të jashtëzakonshme mund të arrihet përmes vizualizimit, metodave IQR, rezultateve z, madje edhe qasjeve shumëvariabël dhe të të mësuarit automatik. Trajtimi duhet të marrë në konsideratë kontekstin dhe objektivat: verifikimin, kuptimin e shkaqeve dhe më pas zgjedhjen e një strategjie të tillë si heqja, transformimi, kufizimi i vlerave ose përdorimi i metodave të forta.
Me kuptim të duhur, vlerat e jashtëzakonshme nuk janë thjesht "numra tek", por elementë të rëndësishëm të praktikës statistikore që mund të përmirësojnë cilësinë e analizës dhe vendimeve të bazuara në të dhëna.
