სტატისტიკაში იმპუტაციის მეთოდები

სტატისტიკაში იმპუტაციის მეთოდები

სტატისტიკისა და მონაცემთა ანალიზის პრაქტიკაში თითქმის ყოველთვის ჩნდება დაკარგული მონაცემების პრობლემა. მონაცემები შეიძლება დაკარგული იყოს იმის გამო, რომ რესპონდენტები არ პასუხობენ გარკვეულ კითხვებს, შეცდომებს წერენ, სენსორის ჩარევა ხდება, მონაცემები დაზიანებულია მოპოვების დროს ან მრავალი მონაცემთა წყაროს გაერთიანების პროცესია, რომლებიც სრულად არ ემთხვევა ერთმანეთს. თუ სათანადოდ არ დამუშავდება, დაკარგული მონაცემები შეიძლება გააუარესოს ანალიზის ხარისხს, შეამციროს ტესტის სიმძლავრე და მიკერძოებულ დასკვნებამდეც კი მიგვიყვანოს. დაკარგული მონაცემების დამუშავების ერთ-ერთი ყველაზე გავრცელებული მიდგომაა იმპუტაცია, რაც გულისხმობს დაკარგული მნიშვნელობების შევსებას არსებული ინფორმაციის საფუძველზე სავარაუდო მნიშვნელობებით.

რატომ არის მნიშვნელოვანი იმპუტაცია?

არსებობს რამდენიმე მიზეზი, რის გამოც ხშირად იმპუტაციას არჩევენ დაკარგული მონაცემების უბრალოდ წაშლას. პირველ რიგში, დაკარგული მნიშვნელობების შემცველი რიგების/დაკვირვებების წაშლა (მაგ., სიის მიხედვით წაშლა) შეიძლება მკვეთრად შეამციროს ნიმუშის ზომა, განსაკუთრებით მაშინ, როდესაც დაკარგული მონაცემების პროცენტული მაჩვენებელი მნიშვნელოვანია. მეორეც, თუ მონაცემები შემთხვევით არ აკლია, წაშლამ შეიძლება გამოიწვიოს მიკერძოება. მესამე, ბევრი სტატისტიკური ან მანქანური სწავლების ალგორითმი მოითხოვს სრულ მონაცემებს, რაც იმპუტაციას მოსახერხებელ წინასწარ დამუშავების ეტაპად აქცევს.

თუმცა, იმპუტაცია არ გულისხმობს მხოლოდ „ხარვეზების შევსებას“. არჩეული მეთოდი უნდა ითვალისწინებდეს დაკარგული მონაცემების მექანიზმს, ცვლადების სტრუქტურას და ანალიზის მიზნებს. არასწორმა იმპუტაციამ შეიძლება მოდელი „მოატყუოს“, შეამციროს ვარიაცია და შედეგები უფრო დარწმუნებულად წარმოაჩინოს, ვიდრე სინამდვილეშია.

დაკარგული მონაცემების მექანიზმი

სტატისტიკურ ლიტერატურაში დაკარგული მონაცემები, როგორც წესი, სამ ძირითად მექანიზმად კლასიფიცირდება:

1. MCAR (მონაცემთა სრული შემთხვევითი არარსებობა): მონაცემების დაკარგვის ალბათობა დამოუკიდებელია ნებისმიერი ცვლადისგან, დაკვირვებული თუ დაუკვირვებელი. მაგალითად, უბედური შემთხვევის შედეგად დაზიანებული კითხვარი.
2. MAR (შემთხვევით დაკარგული მონაცემები): დაკარგული მონაცემების ალბათობა დამოკიდებულია დაკვირვებულ ცვლადზე, მაგრამ არ არის დამოკიდებული თავად დაკარგული მნიშვნელობაზე სხვა ცვლადების გათვალისწინების შემდეგ. მაგალითად, ახალგაზრდა რესპონდენტები უფრო მეტად არიან მიდრეკილნი შემოსავლის შესახებ კითხვების გამოტოვებისკენ, მაგრამ ასაკი ხელმისაწვდომია.
3. MNAR (არაშემთხვევითი დაკარგული): დაკარგული მონაცემების ალბათობა დამოკიდებულია თავად დაკარგული მნიშვნელობაზე. მაგალითად, ძალიან მაღალი შემოსავლის მქონე ადამიანები, როგორც წესი, არ ამჟღავნებენ თავიანთ შემოსავალს.

იმპუტაცია, როგორც წესი, უფრო უსაფრთხოა MCAR/MAR-ის პირობებში. MNAR ხშირად მოითხოვს მოდელს, რომელიც აშკარად ითვალისწინებს დაკარგული მონაცემების ან მგრძნობელობის ანალიზს.

მარტივი იმპუტაციის მეთოდი

1. საშუალო/მედიანა/მოდის იმპუტაცია
უმარტივესი მეთოდია დაკარგული მნიშვნელობების ჩანაცვლება რიცხვითი ცვლადებისთვის საშუალოთი ან მედიანით, ხოლო კატეგორიული ცვლადებისთვის - რეჟიმით. უპირატესობებია: ის მარტივი, სწრაფია და ხშირად საბაზისო მაჩვენებლის ფუნქციას ასრულებს. ნაკლოვანებებია: მას შეუძლია შეამციროს ვარიაცია და დაამახინჯოს მონაცემთა განაწილება, განსაკუთრებით თუ მონაცემები ასიმეტრიულია ან შეიცავს გამონაკლის მნიშვნელობებს. მედიანა, როგორც წესი, გამონაკლის მნიშვნელობების მიმართ უფრო მდგრადია, ვიდრე საშუალო.

2. მუდმივი იმპუტაცია
გამოტოვებული მნიშვნელობები ივსება კონკრეტული მუდმივით, როგორიცაა 0, -1, ან წარწერით „უცნობი“. ეს სასარგებლოა, როდესაც მნიშვნელობას აქვს კონკრეტული მნიშვნელობა (მაგ., „ტრანზაქცია არ არის“), ან როდესაც მოდელს სჭირდება დამატებითი ინდიკატორის მიცემა გამოტოვებული მნიშვნელობების ხაზგასასმელად. თუმცა, თვითნებური მუდმივას არჩევამ შეიძლება გამოიწვიოს ყალბი ნიმუშები.

3. ცხელი გემბანის იმპუტაცია
„ცხელ დეკში“ დაკარგული მნიშვნელობები ივსება სხვა, „მსგავსი“ დაკვირვებებიდან (დონორებიდან) მიღებული მნიშვნელობების გამოყენებით, რომლებიც რამდენიმე ძირითად ცვლადს ეფუძნება. ეს მეთოდი პოპულარულია გამოკითხვებში. „ცხელი დეკები“ ინარჩუნებენ რეალისტურ მნიშვნელობებს, რადგან ისინი იჭერენ მონაცემების რეალურ მნიშვნელობებს, მაგრამ შედეგები მგრძნობიარეა „მსგავსების“ განმარტების მიმართ და შეიძლება გამოიწვიოს ნიმუშებს შორის ვარიაცია.

მოდელზე დაფუძნებული იმპუტაციის მეთოდი

4. რეგრესიული იმპუტაცია
გამოტოვებული მნიშვნელობების პროგნოზირება ხდება სხვა ცვლადებიდან მიღებული რეგრესიული მოდელის გამოყენებით. რიცხვითი ცვლადებისთვის შეიძლება გამოყენებულ იქნას წრფივი რეგრესია; კატეგორიული ცვლადებისთვის კი - ლოგისტიკური ან მულტინომიური რეგრესია. უპირატესობა ის არის, რომ ის იყენებს ცვლადებს შორის ურთიერთობებს. ნაკლი ის არის, რომ მხოლოდ დეტერმინისტული პროგნოზირებული მნიშვნელობების გამოყენება ამცირებს ვარიაციას, რადგან ყველა ჩათვლილი მნიშვნელობა ზუსტად პროგნოზირების ხაზზე ხვდება. ამის გადასაჭრელად, უფრო მეტი რეალიზმისთვის ხშირად ემატება შემთხვევითი კომპონენტები (მაგ., ნარჩენები).

5. k-უახლოესი მეზობლების (kNN) იმპუტაცია
kNN მეთოდი ავსებს გამოტოვებულ მნიშვნელობებს k უახლოესი მეზობლების საშუალო (ან ხმის მიცემის) საფუძველზე. სიახლოვე, როგორც წესი, იზომება ევკლიდური მანძილით ან სხვა მეტრიკით მონაცემების ნორმალიზაციის შემდეგ. მის უპირატესობებში შედის მოქნილობა და წრფივი ურთიერთობის არარსებობის დაშვება. ნაკლოვანებებში შედის გამოთვლითი სიძვირე დიდი მონაცემთა ნაკრებებისთვის, მგრძნობელობა ცვლადი მასშტაბის მიმართ და მუშაობის გაუარესება მაღალგანზომილებიან მონაცემებზე (განზომილების წყევლა).

6. მოლოდინის მაქსიმიზაცია (EM)
EM მიდგომა აფასებს მოდელის პარამეტრებს (მაგ., საშუალო და კოვარიაცია მრავალვარიანტული ნორმალური მონაცემებისთვის) დაკარგული მნიშვნელობების ლატენტურ ცვლადებად მიჩნევით. ნაბიჯი E იტერაციულად ითვლის დაკარგული მნიშვნელობების მოლოდინს მიმდინარე პარამეტრების საფუძველზე, შემდეგ ნაბიჯი M აახლებს პარამეტრებს მოსალოდნელი „სრული“ მონაცემების საფუძველზე. EM მდგრადია გარკვეული განაწილებითი ვარაუდების მიმართ, მაგრამ შეიძლება იყოს რთული და დამოკიდებულია მოდელის ვარაუდების სისწორეზე.

მრავლობითი იმპუტაცია: ოქროს სტანდარტი ბევრ შემთხვევაში

7. მრავლობითი იმპუტაცია (MI)
მრავალჯერადი იმპუტაცია MAR-ის ერთ-ერთ ყველაზე პრინციპულ მიდგომად ითვლება. ერთი სრული მონაცემთა ნაკრების გენერირების ნაცვლად, MI წარმოქმნის მრავალ მონაცემთა ნაკრებებს (მაგ., 5–20) სხვადასხვა იმპუტაციებით, რომლებიც ასახავს გაურკვევლობას. თითოეული მონაცემთა ნაკრები ცალ-ცალკე გაანალიზდება, შემდეგ შედეგები გაერთიანებულია რუბინის წესების გამოყენებით, რათა მივიღოთ უფრო ვალიდური შეფასებები და სტანდარტული შეცდომები.

MI-ის უპირატესობები:
– ითვალისწინებს იმპუტაციის გაურკვევლობას.
– უფრო ზუსტია სტატისტიკური დასკვნისთვის (საიმედოობის ინტერვალები, ჰიპოთეზის ტესტირება).
- მოქნილი სხვადასხვა ტიპის ცვლადებისთვის.

მისი შეზღუდვები:
- უფრო რთული განხორციელება.
– მოითხოვს ადეკვატურ დაშვებებსა და იმპუტაციის მოდელის სპეციფიკაციებს.
– თუ MNAR-ში ხარვეზებია, სტანდარტული MI მაინც შეიძლება მიკერძოებული იყოს.

დროითი სერიებისა და სივრცითი მონაცემების იმპუტაცია

დროის სერიების მონაცემებში, დაკარგული მნიშვნელობები ხშირად მჭიდრო კორელაციაშია მათ წინა და შემდგომ მნიშვნელობებთან. ხშირად გამოიყენება ისეთი მეთოდები, როგორიცაა წრფივი ინტერპოლაცია, სპლაინები, კალმანის ფილტრები ან ARIMA/State Space მოდელები. სივრცითი მონაცემებისთვის, ისეთი მიდგომები, როგორიცაა კრიგინგი და სივრცითი მოდელები, შეიძლება გამოყენებულ იქნას გეოგრაფიული სიახლოვის გამოყენებით. ეს მეთოდები ეფექტურია, როდესაც დომინანტურია დროითი/სივრცითი სტრუქტურა, მაგრამ სიფრთხილე უნდა იქნას გამოჩენილი უეცარი ცვლილებების მიმართ (მაგ., ეკონომიკური შოკები), რამაც შეიძლება მარტივი ინტერპოლაცია შეცდომაში შემყვანი გახადოს.

იმპუტაციის მეთოდების შერჩევის კარგი პრაქტიკა

1. ჩაატარეთ დაკარგული მონაცემების შესწავლა: შეამოწმეთ დაკარგული მნიშვნელობების პროცენტული მაჩვენებელი, დაკარგული მნიშვნელობების ნიმუში და დაკავშირებულია თუ არა ეს დაკარგული მონაცემები კონკრეტულ ცვლადთან.
2. განაცალკევეთ ტრენინგისა და ტესტის მონაცემები: ჩაატარეთ იმპუტაცია მხოლოდ ტრენინგის მონაცემებიდან „სწავლით“, შემდეგ კი გამოიყენეთ ის ტესტის მონაცემებზე მონაცემთა გაჟონვის თავიდან ასაცილებლად.
3. განვიხილოთ ცვლადის ტიპი: რიცხვითი, კატეგორიული, რიგითი ან შერეული; შესაბამისი მეთოდი განსხვავებულია.
4. გამოიყენეთ არარსებობის ინდიკატორები: ზოგჯერ ინფორმაცია იმის შესახებ, რომ მნიშვნელობა არ არის, თავისთავად პროგნოზირებადია; ინდიკატორული ცვლადების დამატებამ შეიძლება გააუმჯობესოს პროგნოზირებადი მოდელის მუშაობა.
5. შეაფასეთ იმპუტაციის გავლენა: შეადარეთ განაწილებები იმპუტაციამდე/მის შემდეგ, შეამოწმეთ, შემცირდა თუ არა ვარიაცია და დაადასტურეთ მოდელი.
6. ინფერენციისთვის მიახლოებითი ინფორმაციული ინდექსის პრიორიტეტულობა: როდესაც ანალიზის მიზანია პარამეტრის შეფასება და სტატისტიკური ტესტირება, მრავალჯერადი იმპუტაცია ხშირად უფრო მიზანშეწონილია, ვიდრე ერთჯერადი იმპუტაცია.

დასკვნა

იმპუტაცია თანამედროვე სტატისტიკური სამუშაო პროცესების უმნიშვნელოვანესი კომპონენტია დაკარგული მონაცემების დასამუშავებლად. მარტივი მეთოდები, როგორიცაა საშუალო/მედიანა, შეიძლება სასარგებლო იყოს როგორც საბაზისო მაჩვენებელი ან მცირე ხარვეზებისთვის, მაგრამ ხშირად საფრთხეს უქმნის მონაცემთა სტრუქტურას და გაურკვევლობას. მოდელზე დაფუძნებული მეთოდები, როგორიცაა რეგრესია, kNN და EM, იყენებენ ცვლადებს შორის ურთიერთობებს, ხოლო მრავალჯერადი იმპუტაცია უზრუნველყოფს მყარ ჩარჩოს დასკვნისთვის გაურკვევლობის გათვალისწინებით. საუკეთესო მეთოდის არჩევანი დამოკიდებულია დაკარგული მონაცემების მექანიზმზე (MCAR/MAR/MNAR), ანალიზის მიზანზე (პროგნოზირება დასკვნის წინააღმდეგ) და მონაცემთა მახასიათებლებზე (დროითი სერიები, სივრცითი, შერეული). სწორი მიდგომით, იმპუტაცია ხელს უწყობს ანალიზის მთლიანობის შენარჩუნებას და უფრო საიმედო დასკვნების გამოტანას.