Statistikada İmputasiya Metodları
Statistika və məlumatların təhlili praktikasında məlumatların itkin düşməsi problemi demək olar ki, həmişə ortaya çıxır. Respondentlərin müəyyən sualları cavablandırmaması, qeyd səhvləri, sensor müdaxiləsi, məlumatların çıxarılması zamanı korlanması və ya tam uyğun olmayan birdən çox məlumat mənbəyinin birləşdirilməsi prosesi səbəbindən məlumatlar itkin düşə bilər. Düzgün işlənmədikdə, itkin məlumatlar təhlilin keyfiyyətini aşağı sala , testin gücünü azalda və hətta qərəzli nəticələrə səbəb ola bilər. İtkin məlumatların işlənməsi üçün ən çox yayılmış yanaşmalardan biri mövcud məlumatlara əsaslanan təxmini dəyərlərlə itkin dəyərlərin doldurulmasını əhatə edən imputasiyadır.
İmpluasiya niyə vacibdir?
İmputasiyanın sadəcə itkin məlumatları silməkdənsə, tez-tez seçilməsinin bir neçə səbəbi var. Birincisi, itkin dəyərləri ehtiva edən sətirlərin/müşahidələrin silinməsi (məsələn, siyahı üzrə silinmə) nümunə ölçüsünü kəskin şəkildə azalda bilər, xüsusən də itkin məlumatların faizi əhəmiyyətli olduqda. İkincisi, məlumatlar təsadüfi olaraq itkin düşmürsə, silinmə qərəzliliyə səbəb ola bilər. Üçüncüsü, bir çox statistik və ya maşın öyrənmə alqoritmləri tam məlumatlar tələb edir və bu da imputasiyanı əlverişli bir əvvəlcədən emal mərhələsinə çevirir.
Lakin, imputasiya sadəcə "boşluqları doldurmaq" demək deyil. Seçilən metod çatışmayan məlumat mexanizmini, dəyişənlərin strukturunu və təhlilin məqsədlərini nəzərə almalıdır. Zəif imputasiya modeli "aldada", dispersiyanı azalda və nəticələrin əslində olduğundan daha dəqiq görünməsinə səbəb ola bilər.
İtirilmiş Məlumat Mexanizmi
Statistik ədəbiyyatda itkin məlumatlar adətən üç əsas mexanizmə təsnif edilir:
1. MCAR (Təsadüfi Tamamilə İtkinlik): məlumatların itmə ehtimalı müşahidə edilən və ya müşahidə olunmayan hər hansı dəyişəndən asılı deyil. Məsələn, qəza nəticəsində zədələnmiş anket.
2. MAR (Təsadüfi olaraq çatışmayan): məlumatların itmə ehtimalı müşahidə olunan dəyişəndən asılıdır, lakin digər dəyişənlərə nəzarət edildikdən sonra itkin dəyərin özündən asılı deyil. Məsələn, gənc respondentlərin gəlir suallarını qaçırma ehtimalı daha yüksəkdir, lakin yaş məhdudiyyəti mövcuddur.
3. MNAR (Təsadüfi deyil, əksinə): Məlumatların itmə ehtimalı itkin dəyərin özündən asılıdır. Məsələn, çox yüksək gəlirləri olan insanlar gəlirlərini açıqlamamağa meyllidirlər.
İmputasiya ümumiyyətlə MCAR/MAR altında daha təhlükəsizdir. MNAR tez-tez çatışmayan məlumatları açıq şəkildə nəzərə alan bir model və ya həssaslıq təhlili tələb edir.
Sadə İmputasiya Metodu
1. Orta/Median/Moda İmputasiyası
Ən sadə metod, ədədi dəyişənlər üçün itkin dəyərləri orta və ya medianla, kateqoriyalı dəyişənlər üçün isə rejimlə əvəz etməkdir. Üstünlükləri bunlardır: asan, sürətli və tez-tez baza xətti kimi xidmət edir. Mənfi cəhətləri isə bunlardır: xüsusən də məlumatlar asimmetrikdirsə və ya kənar dəyərlər ehtiva edirsə, dispersiyanı azalda və məlumatların paylanmasını təhrif edə bilər. Median adətən orta qiymətdən kənar qiymətlərə qarşı daha güclüdür..
2. Sabit İmputasiya
Çatışmayan dəyərlər 0, -1 və ya "Naməlum" etiketi kimi müəyyən bir sabitlə doldurulur. Bu, dəyərin müəyyən bir mənası olduqda (məsələn, "əməliyyat yoxdur") və ya modelə çatışmayanlığı vurğulamaq üçün əlavə bir göstərici verilməli olduqda faydalıdır. Lakin, ixtiyari bir sabit seçmək saxta nümunələr yarada bilər.
3. İsti Göyərtə İmputasiyası
Qaynar dekada çatışmayan dəyərlər bir neçə əsas dəyişənə əsaslanan digər "oxşar" müşahidələrdən (donorlardan) əldə edilən dəyərlərdən istifadə etməklə doldurulur. Bu metod sorğularda populyardır. Qaynar dekadalar real dəyərləri saxlayır, çünki onlar məlumatların faktiki dəyərlərini əks etdirir, lakin nəticələr "oxşarlıq" tərifinə həssasdır və nümunələrarası variasiya yarada bilər.
Modelə Əsaslanan İmputasiya Metodu
4. Reqressiya imputasiyası
Çatışmayan dəyərlər digər dəyişənlərin reqressiya modeli istifadə edilərək proqnozlaşdırılır. Ədədi dəyişənlər üçün xətti reqressiya, kateqoriyalı dəyişənlər üçün isə istifadə edilə bilər. logistik reqressiya və ya çoxhədli. Üstünlük: dəyişənlər arasındakı əlaqələri istismar edir. Dezavantaj: yalnız deterministik proqnozlaşdırılmış dəyərlərdən istifadə etmək, bütün imputasiya edilmiş dəyərlər proqnozlaşdırılmış xətt üzərində tam olaraq yerləşdiyinə görə dispersiyanı azaltmağa meyllidir. Bunu həll etmək üçün daha böyük realizm üçün təsadüfi komponentlər (məsələn, qalıqlar) tez-tez əlavə olunur.
5. k-Ən Yaxın Qonşular (kNN) İmputasiyası
kNN metodu, ən yaxın qonşuların k ortalamasına (və ya səsverməsinə) əsasən itkin dəyərləri doldurur. Yaxınlıq adətən məlumatlar normallaşdırıldıqdan sonra Evklid məsafəsi və ya başqa bir metrik ilə ölçülür. Onun üstünlüklərinə elastiklik və xətti əlaqənin olmaması fərziyyəsi daxildir. Dezavantajlara böyük məlumat dəstləri üçün hesablama baxımından bahalılıq, dəyişkən miqyasa həssaslıq və yüksək ölçülü məlumatlarda performansın azalması (ölçülülük lənəti) daxildir.
6. Gözləmə-Maksimumlaşdırma (EM)
EM yanaşması, itkin dəyərləri gizli dəyişənlər kimi qəbul etməklə model parametrlərini (məsələn, çoxdəyişkənli normal məlumatlar üçün orta və kovarians) qiymətləndirir. E addımı cari parametrlərə əsasən itkin dəyərlərin gözləntisini təkrarlanan şəkildə hesablayır və sonra M addımı gözlənilən "tam" məlumatlara əsasən parametrləri yeniləyir. EM müəyyən paylanma fərziyyələrinə qarşı davamlıdır, lakin mürəkkəb ola bilər və model fərziyyələrinin düzgünlüyündən asılıdır.
Çoxsaylı İmputasiya: Bir çox hallarda qızıl standart
7. Çoxlu İmputasiya (Çİ)
Çoxlu İmputasiya MAR-a ən prinsipial yanaşmalardan biri hesab olunur. MI tək bir tam məlumat dəsti yaratmaq əvəzinə, qeyri-müəyyənliyi əks etdirən fərqli imputasiyalarla birdən çox məlumat dəsti (məsələn, 5-20) yaradır. Hər bir məlumat dəsti ayrıca təhlil edilir, sonra daha etibarlı qiymətləndirmələr və standart səhvlər əldə etmək üçün nəticələr Rubin qaydalarından istifadə etməklə birləşdirilir.
MI-nin üstünlükləri:
– İmputasiya qeyri-müəyyənliyini qəbul edir.
– Statistik nəticə çıxarmaq üçün daha dəqiqdir (etibar intervalları, hipotez testi).
– Müxtəlif növ dəyişənlər üçün çevikdir.
Onun məhdudiyyətləri:
– Daha mürəkkəb tətbiq.
– Adekvat fərziyyələr və imputasiya modelinin spesifikasiyalarını tələb edir.
– Əgər MNAR-da çatışmazlıq varsa, standart MI yenə də qərəzli ola bilər.
Zaman Seriyası və Məkan Məlumatları üçün İmputasiya
Zaman seriyası məlumatlarında itkin dəyərlər çox vaxt əvvəlki və sonrakı dəyərləri ilə güclü şəkildə korrelyasiya olunur. Xətti interpolasiya, splaynlar, Kalman filtrləri və ya ARIMA/Vəziyyət Məkan modelləri kimi metodlar tez-tez istifadə olunur. Məkan məlumatları üçün kriqinq və məkan modelləri kimi yanaşmalar coğrafi yaxınlıqdan istifadə edə bilər. Bu metodlar zaman/məkan strukturu dominant olduqda təsirli olur, lakin sadə interpolasiyanı yanlış hala gətirə biləcək qəfil dəyişikliklərə (məsələn, iqtisadi şoklara) qarşı ehtiyatlı olmaq lazımdır.
İmputasiya Metodlarının Seçilməsində Yaxşı Təcrübələr
1. Çatışmayan məlumatların araşdırılmasını aparın: çatışmayan dəyərlərin faizini, çatışmayan dəyərlərin modelini və çatışmayan dəyərlərin müəyyən bir dəyişənlə əlaqəli olub olmadığını yoxlayın.
2. Təlim və test məlumatlarını ayırın: yalnız təlim məlumatlarından "öyrənmək" yolu ilə imputasiya edin, sonra məlumatların sızmasının qarşısını almaq üçün onu test məlumatlarına tətbiq edin.
3. Dəyişən növünü nəzərdən keçirin: ədədi, kateqoriyalı, sıralı və ya qarışıq; müvafiq metod fərqlidir.
4. Çatışmazlıq göstəricilərindən istifadə edin: bəzən bir dəyərin çatışmadığı məlumatın özü proqnozlaşdırıcıdır; göstərici dəyişənlərinin əlavə edilməsi proqnozlaşdırıcı modelin işini yaxşılaşdıra bilər.
5. İmputasiyanın təsirini qiymətləndirin: imputasiyadan əvvəl/sonra paylanmaları müqayisə edin, dispersiyanın azalıb-azalmadığını yoxlayın və modeli təsdiqləyin.
6. Nəticə çıxarmaq üçün MI-yə üstünlük verin: təhlilin məqsədi parametr qiymətləndirməsi və statistik test olduqda, çoxsaylı imputasiya çox vaxt tək imputasiyadan daha uyğundur.
Nəticə
İmputasiya, itkin məlumatların işlənməsi üçün müasir statistik iş axınlarının vacib bir hissəsidir. Orta/median kimi sadə metodlar baza və ya kiçik itkinliklər üçün faydalı ola bilər, lakin çox vaxt məlumat strukturunu və qeyri-müəyyənliyi pozur. Reqressiya, kNN və EM kimi model əsaslı metodlar dəyişənlər arasındakı əlaqələri istismar edir, Çoxlu İmputasiya isə qeyri-müəyyənliyi nəzərə alaraq nəticə çıxarmaq üçün möhkəm bir çərçivə təmin edir. Ən yaxşı metodun seçimi itkin məlumat mexanizmindən (MCAR/MAR/MNAR), təhlil məqsədindən (proqnozlaşdırma və nəticə çıxarma) və məlumatların xüsusiyyətlərindən (zaman seriyası, məkan, qarışıq) asılıdır. Düzgün yanaşma ilə imputasiya təhlilin bütövlüyünü qorumağa kömək edir və daha etibarlı nəticələr verir.
