რა არის სტატისტიკაში გამონაკლისს?
სტატისტიკაში მონაცემები წარმოადგენს ძირითად ნედლეულს ფენომენების გასაგებად: მომხმარებლის ქცევა, ტესტის შედეგები, პაციენტის ჯანმრთელობა, წარმოების ხარისხი და ეკონომიკური ტენდენციებიც კი. თუმცა, ყველა მონაცემი არ „იქცევა“ უმრავლესობის მსგავსად. ზოგჯერ ჩვენ ვხვდებით ერთ ან რამდენიმე მნიშვნელობას, რომლებიც მნიშვნელოვნად განსხვავდება მონაცემთა დანარჩენი ნაკრებისგან. ეს გამონაკლისები ცნობილია, როგორც გამონაკლისები. გამონაკლისების გაგება მნიშვნელოვანია, რადგან მათ შეუძლიათ შეცვალონ ანალიტიკური დასკვნები, გავლენა მოახდინონ პროგნოზირებად მოდელებზე და მიუთითონ მნიშვნელოვან მოვლენებზეც კი, რომელთა შესწავლაც ღირს.
გამონაკლისების გაგება
მარტივად რომ ვთქვათ, გამონაკლისი არის დაკვირვების ან მონაცემთა მნიშვნელობა, რომელიც მნიშვნელოვნად განსხვავდება მონაცემების უმრავლესობისგან. გამონაკლისი შეიძლება იყოს უფრო მაღალი (უკიდურესად მაღალი) ან უფრო დაბალი (უკიდურესად დაბალი), ვიდრე ზოგადი ნიმუში. მაგალითად, თუ სტუდენტების ტესტის ქულების უმრავლესობა 60–90 დიაპაზონშია და 5 ან 100 ქულა მნიშვნელოვნად გადახრილია, ეს ქულა უნდა ჩაითვალოს გამონაკლისის მიზეზად.
მნიშვნელოვანია ხაზგასმით აღვნიშნოთ: გამონაკლისი ყოველთვის არ ნიშნავს „შეცდომას“. გამონაკლისი უბრალოდ მიუთითებს, რომ მნიშვნელობა უჩვეულოა მონაცემთა ნაკრებთან შედარებით. გამონაკლისი შეიძლება წარმოიშვას შეყვანის შეცდომების, გაუმართავი საზომი ინსტრუმენტების ან უბრალოდ ასახავდეს იშვიათ, მაგრამ მნიშვნელოვან რეალურ მოვლენებს.
მარტივი მაგალითი
წარმოიდგინეთ 10 ადამიანის ყოველთვიური შემოსავლის მონაცემები (მილიონ რუპიებში):
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
აქ რიცხვი 50 მკვეთრად გამოირჩევა სხვებთან შედარებით. 50 შეცდომაა? შესაძლოა, არასწორი ინტერპრეტაცია იყოს (უნდა იყოს 5,0), მაგრამ ასევე შეიძლება სწორიც იყოს, რადგან ადამიანი მსხვილი ბიზნესის მფლობელია. ორივე შემთხვევაში, 50 გამონაკლისად რჩება - განსხვავება ისაა, თუ როგორ განვიხილავთ მას ანალიზში.
რატომ ჩნდება გამონაკლისები?
უკუჩვენებების გამოჩენის რამდენიმე გავრცელებული მიზეზი არსებობს:
1. გაზომვის ან ინსტრუმენტის შეცდომა
მაგალითად, ტემპერატურის სენსორმა ზოგჯერ შეიძლება წაიკითხოს ექსტრემალური მნიშვნელობები ჩარევის გამო.
2. შეცდომები მონაცემების ჩაწერაში ან შეყვანაში
კლასიკური მაგალითები: 100-ის ნაცვლად 1000-ის აკრეფა ან არასწორი ერთეულები (სმ vs მ).
3. ბუნებრივი ვარიაცია
რეალურ სამყაროში იშვიათი, მაგრამ რეალისტური ფენომენებია: გაყიდვების მკვეთრი ზრდა დიდი აქციის გამო, პაციენტს უჩვეულო რეაქცია აქვს პრეპარატზე ან სპორტსმენი ექსტრემალურ რეკორდს ამყარებს.
4. ცვლილებები პროცესში ან პირობებში
მაგალითად, ქარხანაში გარკვეულ დღეს მანქანა-დანადგარები გაფუჭდა, რაც დეფექტური პროდუქციის რაოდენობის მკვეთრად ზრდას იწვევს.
5. შერეული პოპულაციები
მონაცემთა ნაკრები შეიძლება შეიცავდეს რამდენიმე სხვადასხვა ჯგუფს. მაგალითად, საშუალო სკოლისა და კოლეჯის სტუდენტების სიმაღლეები შერეულია; ზოგიერთი „უკიდურესი“ მნიშვნელობა შეიძლება გამოჩნდეს არა ანომალიების გამო, არამედ იმიტომ, რომ ჯგუფები ნამდვილად განსხვავებულია.
გამონაკლისების გავლენა სტატისტიკურ ანალიზზე
გამონაკლისები მნიშვნელოვანია, რადგან მათ შეუძლიათ მნიშვნელოვნად იმოქმედონ ანალიზის შედეგებზე, განსაკუთრებით იმ მეთოდებში, რომლებიც მგრძნობიარეა ექსტრემალური მნიშვნელობების მიმართ.
1. გავლენას ახდენს საშუალოზე (საშუალო)
საშუალო მნიშვნელობის ექსტრემალური მნიშვნელობები ადვილად „იზიდება“. ზემოთ მოცემულ შემოსავლის მაგალითში საშუალო მნიშვნელობა მნიშვნელოვნად გაბერილი იქნებოდა 50-ის მნიშვნელობით, მიუხედავად იმისა, რომ უმრავლესობა დაახლოებით 5-8-ის ტოლია.
2. გავლენას ახდენს სტანდარტულ გადახრასა და ვარიაციაზე
რადგან ვარიაციის გამოთვლები საშუალო მნიშვნელობიდან კვადრატულ სხვაობებს გულისხმობს, გამონაკლისმა მაჩვენებლებმა შეიძლება გაზარდოს ვარიაცია და სტანდარტული გადახრა, რაც ისეთ შთაბეჭდილებას ტოვებს, თითქოს მონაცემები სინამდვილეში უფრო „გაფანტულია“.
3. შემაშფოთებელი რეგრესია და მანქანური სწავლების მოდელები
წრფივი რეგრესიის დროს, გამონაკლისებს შეუძლიათ რეგრესიის ხაზის დამახინჯება, რაც მონაცემების უმეტესობისთვის პროგნოზებს არასაკმარისს ხდის. ზოგიერთ ალგორითმში გამონაკლისებს შეუძლიათ მოდელის ზედმეტად მორგება ან ტრენინგის პარამეტრებზე გავლენის მოხდენა.
4. გავლენის ჰიპოთეზის ტესტირება
გამონაკლისმა მაჩვენებლებმა შეიძლება დაარღვიონ პარამეტრულ ტესტებში ხშირად გამოყენებული ნორმალურობისა და ვარიაციის ერთგვაროვნების დაშვებები, რის გამოც სტატისტიკური დასკვნები მიკერძოებული ხდება.
თუმცა, გამონაკლისი მაჩვენებლები ასევე შეიძლება მნიშვნელოვანი სიგნალები იყოს. თაღლითობის გამოვლენისას, გამონაკლისი მაჩვენებლების მქონე ტრანზაქციები სწორედ ისაა, რისი ძიებაც გვინდა. ჯანდაცვაში, ლაბორატორიული ტესტების მნიშვნელოვნად განსხვავებულმა შედეგებმა შეიძლება სერიოზულ სამედიცინო მდგომარეობაზე მიუთითოს.
როგორ ამოვიცნოთ გამონაკლისები
ერთი „სწორი“ მეთოდი არ არსებობს. გამონაკლისის აღმოჩენა ხშირად დამოკიდებულია კონტექსტზე, მონაცემთა ტიპსა და ანალიზის მიზნებზე. აქ მოცემულია რამდენიმე გავრცელებული მეთოდი:
1. ვიზუალიზაცია: ყუთ-დიაგრამა და გაფანტვის დიაგრამა
– ბოქს-დიაგრამები ძალიან პოპულარულია გამონაკლისების აღმოსაჩენად. ბოქს-დიაგრამაში გამონაკლისები, როგორც წესი, აღინიშნება წერტილებით, რომლებიც ულვაშისებრი ყუთის გარეთაა.
– გაფანტვის დიაგრამები გვეხმარება ორ ცვლადს შორის ურთიერთობაში გამონაკლისების დანახვაში, მაგალითად, წონასა და სიმაღლეს შორის.
ვიზუალიზაცია სასარგებლოა, როგორც პირველი ნაბიჯი, რადგან ის სწრაფი და ინტუიციურია.
2. კვარტალთაშორისი დიაპაზონის (IQR) მეთოდი
IQR მეთოდი ხშირად გამოიყენება ერთცვლადიანი მონაცემებისთვის (უნივარიანტული).
– გამოთვალეთ Q1 (კვარტილი 1) და Q3 (კვარტილი 3)
– IQR = Q3 − Q1
– ქვედა ზღვარი = Q1 − 1,5 × IQR
– ზედა ზღვარი = Q3 + 1,5 × IQR
ამ ზღვრების მიღმა მნიშვნელობები, როგორც წესი, გამონაკლისებად ითვლება. ეს მეთოდი შედარებით საიმედოა, რადგან მასზე ექსტრემალური მნიშვნელობები დიდ გავლენას არ ახდენს.
3. Z-ქულა (საშუალო და სტანდარტული გადახრის საფუძველზე)
Z-ქულა ზომავს, თუ რამდენად არის მნიშვნელობა დაშორებული საშუალო მნიშვნელობიდან სტანდარტული გადახრის ერთეულებში.
– z = (x − საშუალო) / sd
მნიშვნელობები |z| > 3 (ზოგჯერ > 2,5) ხშირად გამონაკლისებად ითვლება.
სისუსტე: თუ მონაცემები უკვე შეიცავს დიდ გამონაკლისებს, საშუალო და სტანდარტული გადახრა გავლენას ახდენს, რის გამოც აღმოჩენა შეიძლება ნაკლებად ზუსტი იყოს.
4. მოდელზე დაფუძნებული და მრავალვარიანტული მეთოდები
მრავალცვლადიანი მონაცემებისთვის, გამონაკლისები ყოველთვის არ ჩანს მხოლოდ ერთ სვეტში, არამედ რამდენიმე ცვლადის კომბინაციაში.
– მაჰალანობისის მანძილი ხშირად გამოიყენება მრავალვარიანტული გამონაკლისების აღმოსაჩენად.
– მანქანურ სწავლებაში არსებობს ისეთი მიდგომები, როგორიცაა იზოლაციის ტყე, ლოკალური გამონაკლის ფაქტორი (LOF) ან ერთკლასიანი SVM.
ეს მეთოდი შესაფერისია დიდი და რთული მონაცემთა ნაკრებებისთვის, მაგალითად, ფინანსური ტრანზაქციების ანომალიების აღმოსაჩენად.
რა უნდა გააკეთოთ, თუ აღმოაჩენთ გამონაკლისს?
საუკეთესო გამოსავალი მათი უბრალოდ წაშლა არ არის. როგორც წესი, გამონაკლისების დამუშავების პროცესი რამდენიმე ეტაპს მოიცავს:
1. მონაცემთა ვერიფიკაცია
– შეამოწმეთ არასწორი შეყვანა, დუბლირება ან არასწორი ერთეულები.
– შეადარეთ ორიგინალურ მონაცემთა წყაროს (მაგ., ფორმები, სენსორების ჟურნალები ან ხელით შესრულებული ჩანაწერები).
2. კონტექსტის გაგება
– აზრი აქვს თუ არა უკიდურეს მნიშვნელობებს ამ სფეროში?
– მაგალითად, ადამიანის სხეულის 50°C ტემპერატურა თითქმის დანამდვილებით არასწორია; მაგრამ 50 მილიონი შემოსავალი შეიძლება გონივრული იყოს.
3. ანალიზის მიზნის განსაზღვრა
– თუ მიზანი „ზოგადი“ ქცევის გაგებაა, შესაძლოა საჭირო გახდეს გამონაკლისების დამუშავება, რათა თავიდან იქნას აცილებული მათი დომინირება.
– თუ მიზანი იშვიათი მოვლენების (თაღლითობა, აპარატის გაუმართაობა) პოვნაა, მთავარი აქცენტი გამონაკლისებზე კეთდება.
4. აირჩიეთ მართვის სტრატეგია
რამდენიმე საერთო ვარიანტი:
– მოცილება: ხორციელდება იმ შემთხვევაში, თუ დადასტურდება, რომ გამონაკლისი შეცდომაა და არ არის წარმომადგენლობითი.
– მონაცემთა ტრანსფორმაცია: მაგალითად, ლოგარითმული ტრანსფორმაცია დამახინჯებული მონაცემებისთვის.
– Winsorizing / capping: ექსტრემალური მნიშვნელობების შეზღუდვა გარკვეულ პროცენტულამდე (მაგ. p1 და p99).
– გამოიყენეთ სანდო მეთოდები: მედიანა, IQR, სანდო რეგრესია ან გამონაკლისების მიმართ რეზისტენტული მოდელები.
– ცალკე ანალიზი: ზოგჯერ უფრო მიზანშეწონილია გამონაკლისების, როგორც განსაკუთრებული შემთხვევების, ანალიზი.
მნიშვნელოვანია, რომ გადაწყვეტილებები დოკუმენტირებული იყოს, რათა ანალიზი იყოს გამჭვირვალე და ანგარიშვალდებული.
გამონაკლისები: პრობლემა თუ ღირებული ინფორმაცია?
გამონაკლის მაჩვენებლებს ხშირად „ხმაურად“ მიიჩნევენ, რადგან მათ შეუძლიათ სტატისტიკური შეჯამებების დამახინჯება. თუმცა, ბევრ შემთხვევაში, გამონაკლისები ახალი ინფორმაციის მიღების კარიბჭეს წარმოადგენს: პრემიუმ მომხმარებელთა სეგმენტის არსებობა, პაციენტის მდგომარეობა, რომელიც ყურადღებას საჭიროებს, წარმოების პროცესში ახალი ფაზა ან პოტენციური თაღლითობა. ამიტომ, გამონაკლისები უნდა განიხილებოდეს, როგორც ისეთი რამ, რაც გამოკვლევას საჭიროებს და არა ავტომატურად უგულებელყოფილი.
დასკვნა
სტატისტიკაში გამონაკლისი არის მნიშვნელობა, რომელიც მნიშვნელოვნად გადახრილია მონაცემების ზოგადი ნიმუშიდან. გამონაკლისი შეიძლება წარმოიშვას შეცდომების, ბუნებრივი ვარიაციის, პროცესის ცვლილებების ან მონაცემთა ნაკრებში ჯგუფური განსხვავებების გამო. მათი გავლენა შეიძლება მნიშვნელოვანი იყოს საშუალოზე, ვარიაციაზე, სტატისტიკურ ტესტებსა და პროგნოზირებად მოდელებზე. გამონაკლისის აღმოჩენა შესაძლებელია ვიზუალიზაციის, IQR მეთოდების, z-ქულების და მრავალვარიანტული მიდგომებისა და მანქანური სწავლების მეშვეობითაც კი. დამუშავებისას უნდა იქნას გათვალისწინებული კონტექსტი და მიზნები: გადამოწმება, მიზეზების გაგება და შემდეგ ისეთი სტრატეგიის არჩევა, როგორიცაა მნიშვნელობების ამოღება, ტრანსფორმაცია, შეზღუდვა ან სანდო მეთოდების გამოყენება.
სათანადო გაგებით, გამონაკლისები არ არის მხოლოდ „კენტი რიცხვები“, არამედ სტატისტიკური პრაქტიკის მნიშვნელოვანი ელემენტები, რომლებსაც შეუძლიათ მონაცემებზე დაფუძნებული ანალიზისა და გადაწყვეტილებების ხარისხის გაუმჯობესება.
