Statistikada tashqi ko'rsatkich nima?
Statistikada ma'lumotlar hodisalarni tushunish uchun asosiy xom ashyo hisoblanadi: iste'molchilarning xulq-atvori, test natijalari, bemorlarning sog'lig'i, ishlab chiqarish sifati va hatto iqtisodiy tendentsiyalar. Biroq, barcha ma'lumotlar nuqtalari ko'pchilik kabi "o'zini tuta" olmaydi. Ba'zan biz ma'lumotlar to'plamining qolgan qismidan sezilarli darajada farq qiladigan bir yoki bir nechta qiymatlarga duch kelamiz. Bu chetga chiqishlar chetga chiqishlar deb nomlanadi. Chetga chiqishlarni tushunish muhimdir, chunki ular analitik xulosalarni o'zgartirishi, bashoratli modellarga ta'sir qilishi va hatto o'rganishga arziydigan muhim voqealarni ko'rsatishi mumkin.
Chet elliklarni tushunish
Sodda qilib aytganda, chetga chiqish - bu ma'lumotlarning aksariyat qismidan sezilarli darajada farq qiladigan kuzatuv yoki ma'lumotlar qiymati. Chetga chiqishlar umumiy naqshga qaraganda yuqori (juda yuqori) yoki pastroq (juda past) bo'lishi mumkin. Masalan, agar talabalarning aksariyatining test ballari 60-90 oralig'ida bo'lsa va 5 yoki 100 balldan sezilarli darajada farq qilsa, bu ball chetga chiqish sifatida shubha qilinishi kerak.
Shuni ta'kidlash kerakki, chetga chiqish har doim ham "xato" degani emas. Chetga chiqish shunchaki qiymat ma'lumotlar to'plamiga nisbatan g'ayrioddiy ekanligini bildiradi. Chetga chiqishlar kirish xatolari, nosoz o'lchash asboblari yoki shunchaki noyob, ammo muhim real hayot voqealarini aks ettirishi mumkin.
Oddiy misol
10 kishining oylik daromad ma'lumotlarini (million rupiyada) tasavvur qiling:
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
Bu yerda 50 raqami boshqalarga nisbatan keskin ajralib turadi. 50 xatomi? Bu noto'g'ri o'qish bo'lishi mumkin (u 5,0 bo'lishi kerak), lekin u to'g'ri ham bo'lishi mumkin, chunki shaxs yirik biznes egasi. Ikkala holatda ham, 50 soni chetga chiqish ko'rsatkichi bo'lib qolmoqda - farqi shundaki, biz uni tahlilda qanday qabul qilamiz.
Nima uchun tashqi belgilar paydo bo'ladi?
Tashqi ko'rinishning bir nechta keng tarqalgan sabablari mavjud:
1. O'lchov yoki asbob xatosi
Masalan, harorat sensori ba'zan shovqin tufayli haddan tashqari qiymatlarni o'qishi mumkin.
2. Ma'lumotlarni yozib olish yoki kiritishdagi xatolar
Klassik misollar: 100 o'rniga 1000 ni kiritish yoki noto'g'ri birliklar (sm va m).
3. Tabiiy o'zgaruvchanlik
Haqiqiy hayotda kamdan-kam uchraydigan, ammo real hodisalar mavjud: katta lavozimga ko'tarilish tufayli savdo hajmining keskin oshishi, bemorning dori vositasiga g'ayrioddiy reaksiyasi yoki sportchi ekstremal rekord o'rnatishi.
4. Jarayon yoki sharoitlardagi o'zgarishlar
Masalan, ma'lum bir kunda zavodda mashina ishdan chiqadi, natijada nuqsonli mahsulotlar soni keskin oshadi.
5. Aralash populyatsiyalar
Ma'lumotlar to'plami bir nechta turli guruhlarni o'z ichiga olishi mumkin. Masalan, o'rta maktab va kollej o'quvchilarining bo'yi aralash; ba'zi "ekstremal" qiymatlar anomaliyalar tufayli emas, balki guruhlar chindan ham boshqacha bo'lgani uchun paydo bo'lishi mumkin.
Statistik tahlilga tashqi ko'rsatkichlarning ta'siri
Chetga chiqishlar muhim, chunki ular tahlil natijalariga sezilarli darajada ta'sir qilishi mumkin, ayniqsa ekstremal qiymatlarga sezgir bo'lgan usullarda.
1. O'rtacha (o'rtacha) ga ta'sir qiladi
O'rtacha qiymatni ekstremal qiymatlar osongina "tortib oladi". Yuqoridagi daromad misolida, aksariyati 5–8 atrofida bo'lsa ham, o'rtacha qiymat 50 ga sezilarli darajada oshadi.
2. Standart og'ish va dispersiyaga ta'sir qiladi
Dispersiya hisob-kitoblari o'rtacha qiymatdan kvadratik farqlarni o'z ichiga olganligi sababli, chetga chiqish qiymatlari dispersiya va standart og'ishni oshirishi mumkin, bu esa ma'lumotlar aslida bo'lganidan ko'ra ko'proq "tarqalgan" ko'rinishga olib keladi.
3. Bezovta qiluvchi regressiya va mashinani o'rganish modellari
Chiziqli regressiyada, chetga chiqishlar regressiya chizig'ini buzishi mumkin, bu esa ma'lumotlarning aksariyati uchun bashoratlarni yomonlashtiradi. Ba'zi algoritmlarda chetga chiqishlar modelning haddan tashqari moslashishiga yoki o'qitish parametrlariga ta'sir qilishiga olib kelishi mumkin.
4. Ta'sir gipotezasini sinovdan o'tkazish
Chetga chiqishlar parametrik testlarda ko'pincha qo'llaniladigan normallik va dispersiyaning bir xilligi haqidagi taxminlarni buzishi mumkin, natijada statistik xulosalar noto'g'ri bo'lib qoladi.
Biroq, chetga chiqishlar ham muhim signallar bo'lishi mumkin. Firibgarlikni aniqlashda chetga chiqish tranzaksiyalari aynan biz izlashni istagan narsadir. Sog'liqni saqlashda laboratoriya natijalarining sezilarli darajada farq qilishi jiddiy tibbiy holatni ko'rsatishi mumkin.
Chet elliklarni qanday aniqlash mumkin
Bitta "to'g'ri" usul yo'q. Chetga chiqishni aniqlash ko'pincha kontekstga, ma'lumotlar turiga va tahlil maqsadlariga bog'liq. Mana ba'zi keng tarqalgan usullar:
1. Vizualizatsiya: Boxplot va Scatterplot
– Chetga chiqishlarni aniqlash uchun quti chizmalari juda mashhur. Quti chizmasida chetga chiqishlar odatda mo'ylov qutisidan tashqariga tushadigan nuqtalar sifatida belgilanadi.
– Tarqoq grafiklar ikkita oʻzgaruvchi, masalan, vazn va boʻy oʻrtasidagi bogʻliqlikda chetga chiqishlarni koʻrishga yordam beradi.
Vizualizatsiya birinchi qadam sifatida foydalidir, chunki u tez va intuitivdir.
2. IQR (Kvartillararo diapazon) usuli
IQR usuli ko'pincha bitta o'zgaruvchili ma'lumotlar (bir o'zgaruvchili) uchun qo'llaniladi.
– Q1 (1-kvartil) va Q3 (3-kvartil) ni hisoblang.
– IQR = Q3 − Q1
– Pastki chegara = Q1 − 1,5 × IQR
– Yuqori chegara = Q3 + 1,5 × IQR
Ushbu chegaralardan tashqaridagi qiymatlar odatda tashqaridagi qiymatlar deb hisoblanadi. Bu usul nisbatan ishonchli, chunki u ekstremal qiymatlardan katta ta'sirlanmaydi.
3. Z-ball (o'rtacha va standart og'ish asosida)
Z-ball qiymatning standart og'ish birliklarida o'rtacha qiymatdan qanchalik uzoqda ekanligini o'lchaydi.
– z = (x − o'rtacha) / sd
|z| > 3 (ba'zan > 2,5) bo'lgan qiymatlar ko'pincha chetga chiqish deb hisoblanadi.
Zaiflik: agar ma'lumotlar allaqachon katta tashqi qiymatlarni o'z ichiga olsa, o'rtacha qiymat va sd ta'sirlanadi, shuning uchun aniqlash kamroq aniq bo'lishi mumkin.
4. Modelga asoslangan va ko'p o'zgaruvchili usullar
Ko'p o'zgaruvchili ma'lumotlar uchun tashqi qiymatlar har doim ham bitta ustunda emas, balki bir nechta o'zgaruvchilarning kombinatsiyasida ko'rinadi.
– Mahalanobis masofasi ko'pincha ko'p o'zgaruvchili chetga chiqishlarni aniqlash uchun ishlatiladi.
– Mashinada oʻqitishda Izolyatsiya Oʻrmoni, Mahalliy Chetga Chiqish Faktori (LOF) yoki Bir Sinfli SVM kabi yondashuvlar mavjud.
Bu usul katta va murakkab ma'lumotlar to'plamlari, masalan, moliyaviy tranzaksiya anomaliyalarini aniqlash uchun javob beradi.
Agar siz tashqi ko'rinishni topsangiz nima qilish kerak?
Eng yaxshi yo'l ularni shunchaki o'chirib tashlash emas. Odatda, chetga chiqish jarayoni bir necha bosqichlarni o'z ichiga oladi:
1. Ma'lumotlarni tekshirish
– Noto'g'ri kiritish, takrorlash yoki noto'g'ri birliklarni tekshiring.
– Asl ma'lumotlar manbai bilan taqqoslang (masalan, shakllar, sensor jurnallari yoki qo'lda yozilgan yozuvlar).
2. Kontekstni tushuning
– Ushbu sohada ekstremal qiymatlar mantiqiymi?
– Masalan, inson tanasining 50°C harorati deyarli noto'g'ri; ammo 50 million daromad o'rinli bo'lishi mumkin.
3. Tahlilning maqsadini aniqlang
– Agar maqsad “umumiy” xatti-harakatlarni tushunish boʻlsa, ularning ustunlik qilishiga yoʻl qoʻymaslik uchun chetga chiqishlarni bartaraf etish kerak boʻlishi mumkin.
– Agar maqsad noyob hodisalarni (firibgarlik, mashinaning ishdan chiqishi) topish bo'lsa, asosiy e'tibor chetda qolganlarga qaratiladi.
4. Ishlov berish strategiyasini tanlang
Ba'zi keng tarqalgan variantlar:
– Olib tashlash: agar chetga chiqish xato ekanligi va vakillik qilmasligi isbotlangan bo'lsa, amalga oshiriladi.
– Maʼlumotlarni oʻzgartirish: masalan, qiyshiq maʼlumotlar uchun jurnal oʻzgartirish.
– Winsorizatsiya/chegaralash: ekstremal qiymatlarni ma'lum foizlar bilan cheklash (masalan, p1 va p99).
– Mustahkam usullardan foydalaning: mediana, IQR, mustahkam regressiya yoki chetga chiqishga chidamli modellar.
– Alohida tahlil: ba'zan chetga chiqishlarni maxsus holatlar sifatida tahlil qilish maqsadga muvofiqroq bo'ladi.
Muhimi, tahlil shaffof va hisobdor bo'lishi uchun qarorlar hujjatlashtirilishi kerak.
Chetga chiqishlar: muammomi yoki qimmatli ma'lumotmi?
Chetga chiqishlar ko'pincha "shovqin" deb hisoblanadi, chunki ular statistik xulosalarni buzib ko'rsatishi mumkin. Biroq, ko'p hollarda, chetga chiqishlar yangi tushunchalarga kirish eshigi hisoblanadi: premium mijozlar segmentining mavjudligi, e'tibor talab qiladigan bemor holati, ishlab chiqarish jarayonidagi yangi bosqich yoki potentsial firibgarlik. Shuning uchun, chetga chiqishlar avtomatik ravishda rad etilmasdan, balki tekshirilishi kerak bo'lgan narsa sifatida qaralishi kerak.
Xulosa
Statistikada chetga chiqish - bu ma'lumotlarning umumiy naqshidan sezilarli darajada chetga chiqadigan qiymat. Chetga chiqishlar xatolar, tabiiy o'zgarish, jarayon o'zgarishlari yoki ma'lumotlar to'plamidagi guruh farqlari tufayli paydo bo'lishi mumkin. Ularning ta'siri o'rtacha qiymatga, dispersiyaga, statistik testlarga va bashoratli modellarga sezilarli bo'lishi mumkin. Chetga chiqishlarni aniqlashga vizualizatsiya, IQR usullari, z-balllar va hatto ko'p o'zgaruvchan yondashuvlar va mashinani o'rganish orqali erishish mumkin. Ishlov berish kontekst va maqsadlarni hisobga olishi kerak: tekshirish, sabablarni tushunish va keyin qiymatlarni olib tashlash, o'zgartirish, cheklash yoki ishonchli usullardan foydalanish kabi strategiyani tanlash.
To'g'ri tushunish bilan, chetga chiqishlar shunchaki "toq sonlar" emas, balki ma'lumotlarga asoslangan tahlil va qarorlar sifatini yaxshilashi mumkin bo'lgan statistik amaliyotning muhim elementlari hisoblanadi.
