אימפּוטאַציע מעטאָדן אין סטאַטיסטיק
אין דער פּראַקטיק פון סטאַטיסטיק און דאַטן אַנאַליז, קומט כּמעט שטענדיק אויף די פּראָבלעם פון פעלנדיקע דאַטן. דאַטן קענען פעלן צוליב דעם וואָס די וואָס ענטפֿערן נישט אויף געוויסע פֿראַגעס, רעקאָרדינג פֿעלער, סענסאָר שטערונגען, דאַטן קאָרופּציע בעת עקסטראַקציע, אָדער צוליב דעם פּראָצעס פון קאָמבינירן קייפל דאַטן קוועלער וואָס שטימען נישט גאָר איבער. אויב נישט באַהאַנדלט ריכטיק, קענען פעלנדיקע דאַטן פֿאַרערגערן די קוואַליטעט פֿון דער אַנאַליז , רעדוצירן די מאַכט פֿון דער פּראָבע, און אפילו פֿירן צו פֿאַרזײַטיקטע מסקנות. איינער פֿון די מערסט פֿאַרשפּרייטע צוגאַנגען צו באַהאַנדלען פעלנדיקע דאַטן איז אימפּוטאַציע, וואָס באַשטייט פֿון אויספֿילן פעלנדיקע ווערטן מיט געשאצטע ווערטן באַזירט אויף פֿאַראַן אינפֿאָרמאַציע.
פארוואס איז אימפוטאציע וויכטיג?
עס זענען דא עטלעכע סיבות פארוואס אימפוטאציע ווערט אפט אויסגעקליבן אנשטאט פשוט אויסמעקן פעלנדיקע דאטן. ערשטנס, אויסמעקן רייען/אבזערוואציעס מיט פעלנדיקע ווערטן (למשל, ליסטע-ווייז אויסמעקן) קען דראסטיש פארקלענערן די מוסטער גרייס, ספעציעל ווען דער פראצענט פון פעלנדיקע דאטן איז באדייטנד. צווייטנס, אויב די דאטן פעלן נישט צופעליג, קען אויסמעקן אריינפירן א פארזעצונג. דריטנס, פילע סטאטיסטישע אדער מאשין לערנען אלגאריטמען פארלאנגען פולשטענדיקע דאטן , מאכנדיג אימפוטאציע א באקוועמען פאר-פראצעסינג שריט.
אבער, אימפוטאציע איז נישט פשוט וועגן "אויספילן די לעכער." די אויסגעקליבענע מעטאד מוז נעמען אין באטראכט דעם מעכאניזם פון פעלנדיקע דאטן, די סטרוקטור פון די וועריאַבלען, און די צילן פון דער אנאליז. שלעכטע אימפוטאציע קען "נארן" דאס מאדעל, רעדוצירן די וואריאנץ, און מאכן די רעזולטאטן אויסזען זיכערער ווי זיי זענען טאקע.
פארלוירענע דאטן מעכאניזם
אין דער סטאַטיסטישער ליטעראַטור, ווערט פעלנדיקע דאַטן געוויינטלעך קלאַסיפֿיצירט אין דריי הויפּט מעכאַניזמען:
1. MCAR (פעלנדיק גאָר צופֿעליק): די וואַרשיינלעכקייט פֿון פֿעלנדיקע דאַטן איז אומאָפּהענגיק פֿון יעדע וואַריאַבלע, באַאָבאַכטעט אָדער נישט באַאָבאַכטעט. למשל, אַ פֿראַגעבאָגן וואָס איז געשעדיגט געוואָרן דורך אַן אַקסידענט.
2. MAR (Missing At Random): די ווארשיינליכקייט פון פעלנדיקע דאטן ווענדט זיך אין דער באאבאכטער וואריאבל, אבער ווענדט זיך נישט אין דעם פעלנדיקן ווערט אליין נאכדעם וואס מען קאנטראלירט פאר אנדערע וואריאבלן. למשל, יונגע רעספאנדענטן זענען מער מסתמא צו פארפאסן איינקונפט פראגעס, אבער עלטער איז פאראן.
3. MNAR (פעלנדיק נישט צופעליק): די ווארשיינליכקייט פון פעלנדיקע דאטן ווענדט זיך אין דעם פעלנדיקן ווערט אליין. למשל, מענטשן מיט זייער הויכע איינקונפטן טענדן נישט צו אנטפלעקן זייער איינקונפט.
אימפּוטאַציע איז בכלל זיכערער אונטער MCAR/MAR. MNAR פארלאנגט אָפט אַ מאָדעל וואָס רעכנט אויסדריקליך מיט פעלנדיקע דאַטן אָדער אַ סענסיטיוויטי אַנאַליז.
פּשוטע אימפּוטאַציע מעטאָדע
1. דורכשניט/מעדיאַן/מאָד אימפּוטאַציע
די פשוטסטע מעטאָדע איז צו פאַרבייטן פעלנדיקע ווערטן מיטן דורכשניט אָדער מעדיאַן פֿאַר נומערישע וועריאַבלען, און דעם מאָדוס פֿאַר קאַטעגאָרישע וועריאַבלען. די מעלות זענען: עס איז גרינג, שנעל, און אָפט דינט ווי אַ באַזעלינע. די חסרונות זענען: עס קען רעדוצירן וואַריאַנס און פאַרדרייען די דאַטן פאַרשפּרייטונג, ספּעציעל אויב די דאַטן זענען אַסימעטריש אָדער כּולל אַויסלייערז. דער מעדיאַן איז געוויינטלעך מער שטאַרק קעגן אַויסנאַם-ווערטער ווי דער דורכשניט..
2. קאָנסטאַנטע אימפּוטאַציע
פעלנדיקע ווערטן ווערן אָנגעפילט מיט אַ ספּעציפֿישער קאָנסטאַנט, ווי 0, -1, אָדער דעם טיטל "אומבאַקאַנט". דאָס איז נוצלעך ווען דער ווערט האט אַ ספּעציפֿישע באַדייטונג (למשל, "קיין טראַנזאַקציע"), אָדער ווען דער מאָדעל דאַרף באַקומען אַן נאָך אינדיקאַטאָר צו הויכפּונקט פעלנדיקקייט. אָבער, אויסקלייבן אַן אַרביטרערע קאָנסטאַנט קען אַרײַנפֿירן פֿאַלשע מוסטערן.
3. הייסע דעק אימפּוטאַציע
אין אַ הייסן דעק, ווערן פֿעלנדיקע ווערטן אָנגעפֿילט מיט ווערטן פֿון אַנדערע, "ענלעכע" אָבסערוואַציעס (דאָנאָרן) באַזירט אויף עטלעכע שליסל וועריאַבלען. די מעטאָדע איז פּאָפּולער אין אַנקעטעס. הייסע דעקס האַלטן רעאַליסטישע ווערטן ווייל זיי כאַפּן די פאַקטישע ווערטן פֿון די דאַטן, אָבער די רעזולטאַטן זענען סענסיטיוו צו דער דעפֿיניציע פֿון "ענלעכקייט" און קענען פּראָדוצירן אינטער-מוסטער וואַריאַציע.
מאָדעל-באַזירט אימפּוטאַציע מעטאָד
4. רעגרעסיע אימפּוטאַציע
פעלנדיקע ווערטן ווערן פאראויסגעזאגט מיט א רעגרעסיע מאָדעל פון אנדערע וועריאַבלען. פאר נומערישע וועריאַבלען קען מען ניצן לינעאַרע רעגרעסיע; פאר קאַטעגאָרישע וועריאַבלען קען מען עס ניצן. לאָגיסטישע רעגרעסיע אדער מולטינאָמיאַל. מייַלע: נוצט אויס די באַציִונגען צווישן וועריאַבאַלן. חסרון: ניצן בלויז דעטערמיניסטישע פאָרויסגעזאָגטע ווערטן טענדירט צו רעדוצירן וואַריאַנס ווייַל אַלע ימפּוטעד ווערטן פאַלן פּונקט אויף דער פאָרויסגעזאָגטער ליניע. צו אַדרעסירן דעם, ראַנדאָם קאָמפּאָנענטן (למשל, רעזידואַלן) ווערן אָפט צוגעגעבן פֿאַר גרעסערע רעאַליזם.
5. k-נענסטע שכנים (kNN) אימפּוטאַציע
די kNN מעטאָדע פֿילט אויס פֿעלנדיקע ווערטן באַזירט אויף דעם דורכשניט (אָדער אָפּשטימונג) פֿון די k נאָענטסטע שכנים. נאָענטקייט ווערט טיפּיש געמאָסטן דורך עוקלידישע דיסטאַנץ אָדער אַן אַנדער מעטריק נאָכדעם וואָס די דאַטן זענען נאָרמאַליזירט. אירע מעלות אַרייַננעמען פֿלעקסיבילאַטי און די הנחה פֿון קיין לינעאַרע באַציִונג. חסרונות אַרייַננעמען קאַמפּיוטאַציאָנעל טייַער פֿאַר גרויסע דאַטן סעץ, סענסיטיוויטי צו וועריאַבאַל וואָג, און פאָרשטעלונג דעגראַדאַציע אויף הויך-דימענסיאָנאַלע דאַטן (קללה פֿון דימענסיאָנאַליטעט).
6. ערוואַרטונג-מאַקסימיזאַציע (EM)
דער EM צוגאַנג שאַצט מאָדעל פּאַראַמעטערס (למשל, דורכשניט און קאָוואַריאַנס פֿאַר מולטיוואַריאַט נאָרמאַל דאַטן) דורך באַהאַנדלען פעלנדיקע ווערטן ווי לאַטענטע וועריאַבאַלן. שריט E רעכנט איטעראַטיוו די ערוואַרטונג פון פעלנדיקע ווערטן באַזירט אויף די איצטיקע פּאַראַמעטערס, און דערנאָך שריט M דערהייַנטיקט די פּאַראַמעטערס באַזירט אויף די ערוואַרטעטע "פולשטענדיקע" דאַטן. EM איז ראָבאַסט צו געוויסע דיסטריביושאַנאַל אַסאַמפּשאַנז, אָבער קען זיין קאָמפּלעקס און דעפּענדס אויף די ריכטיקייט פון די מאָדעל אַסאַמפּשאַנז.
קייפל אימפּוטאַציע: דער גאָלדענער סטאַנדאַרט אין פילע פאַלן
7. מערפאכיגע אימפּוטאַציע (MI)
מולטיפּלע אימפּוטאַציע ווערט באַטראַכט ווי איינער פון די מערסט פּרינציפּיעלע צוגאַנגען צו MAR. אַנשטאָט צו שאַפֿן אַן איינציקן גאַנצן דאַטאַסעט, דזשענערירט MI קייפל דאַטאַסעטס (למשל, 5-20) מיט פֿאַרשידענע אימפּוטאַציעס וואָס שפּיגלען אָפּ אומזיכערקייט. יעדער דאַטאַסעט ווערט אַנאַליזירט באַזונדער, און דערנאָך ווערן די רעזולטאַטן קאָמבינירט מיט רובין'ס כּללים צו באַקומען מער גילטיקע שאַצונגען און סטאַנדאַרט ערראָרס.
מעלות פון MI:
– אַקאַמאַדירט אימפּוטאַציע אומזיכערקייט.
– מער גענוי פֿאַר סטאַטיסטישע אינפֿערענץ (זיכערהייט אינטערוואַלן, היפּאָטעזע טעסטינג).
– פלעקסיבל פֿאַר פֿאַרשידענע טיפּן וועריאַבאַלן.
אירע באגרענעצונגען:
– מער קאָמפּליצירטע אימפּלעמענטאַציע.
– פארלאנגט גענוגנדיקע אנווייזונגען און אימפּוטאַציע מאָדעל ספּעציפֿיקאַציעס.
– אויב עס איז דא א פעלנדיקע זאך אין MNAR, קען סטאנדארט MI נאך אלץ זיין פאראורטיילט.
אימפּוטאַציע פֿאַר צייט סעריעס און ספּיישאַל דאַטן
אין צייט סעריע דאטן, זענען פעלנדיקע ווערטן אָפט שטאַרק קאָרעלירט מיט זייערע פריערדיקע און שפּעטערדיקע ווערטן. מעטאָדן ווי לינעאַרע אינטערפּאָלאַציע, ספּליינז, קאַלמאַן פילטערס, אָדער ARIMA/State Space מאָדעלן ווערן אָפט גענוצט. פֿאַר ספּיישאַל דאַטן, קענען צוגאַנגען ווי קריגינג און ספּיישאַל מאָדעלן אויסנוצן געאָגראַפֿישע נאָענטקייט. די מעטאָדן זענען עפֿעקטיוו ווען טעמפּאָראַל/ספּיישאַל סטרוקטור איז דאָמינאַנט, אָבער מען מוז זיין פֿאָרזיכטיק קעגן פּלוצעמדיקע ענדערונגען (למשל, עקאָנאָמישע שאַקס) וואָס קענען מאַכן פּשוטע אינטערפּאָלאַציע פֿאַרפֿירעריש.
גוטע פּראַקטיקעס אין אויסקלייבן אימפּוטאַציע מעטאָדן
1. דורכפירן אויספארשונג פון פעלנדיקע דאטן: קאנטראלירט דעם פראצענט פון פעלנדיקע ווערטן, דעם מוסטער פון פעלנדיקקייט, און צי די פעלנדיקקייט איז פארבונדן מיט א באשטימטער וועריאבל.
2. אפשיידן טרענירונג און טעסט דאטן: דורכפירן אימפוטאציע דורך "לערנען" נאר פון טרענירונג דאטן, דערנאך אנווענדן עס צו טעסט דאטן צו פארמיידן דאטן ליקאַדזש.
3. באַטראַכט דעם טיפּ פֿון וואַריאַבלען: נומעריש, קאַטעגאָריש, אָרדאַנאַל, צי געמישט; די פּאַסיקע מעטאָדע איז אַנדערש.
4. ניצט אינדיקאטארן פון פעלנדיקייט: מאנchmal איז די אינפארמאציע אז א ווערט פעלט אליין פאראויסזאגנדיק; צולייגן אינדיקאטאר וועריאַבלען קען פארבעסערן די פאָרשטעלונג פון א פאראויסזאגנדיק מאָדעל.
5. אפשאצן דעם איינפלוס פון אימפוטאציע: פארגלייכן די פארטיילונגען פאר/נאך אימפוטאציע, קאנטראלירן צי די וואריאנץ איז פארקלענערט געווארן, און וואלידירן דעם מאדעל.
6. געבן א פריאריטעט צו MI פאר אינפערענץ: ווען די ציל פון דער אנאליז איז פאראמעטער עסטימאציע און סטאטיסטישע טעסטינג, איז מערפאכיגע אימפוטאציע אפט מער פאסיג ווי איין אימפוטאציע.
קעסימפּולאַן
אימפּוטאַציע איז אַ קריטישער קאָמפּאָנענט פון מאָדערנע סטאַטיסטישע וואָרקפלאָוז פֿאַר האַנדלען מיט פֿעלנדיקע דאַטן. פּשוטע מעטאָדן ווי דורכשניטלעך/מעדיאַן קענען זיין נוצלעך ווי אַ באַזעלינע אָדער פֿאַר קליינע פֿעלנדיקע דאַטן, אָבער אָפֿט קאָמפּראָמיטירן דאַטן סטרוקטור און אַנסערטאַנטי. מאָדעל-באַזירטע מעטאָדן ווי רעגרעסיע, kNN, און EM נוצן אויס באַציִונגען צווישן וועריאַבאַלן, בשעת מולטיפּלע אימפּוטאַציע גיט אַ שטאַרקע פריימווערק פֿאַר אינפֿערענץ דורך רעכענען זיך מיט אַנסערטאַנטי. די ברירה פון דער בעסטער מעטאָדע דעפּענדס אויף דעם מעקאַניזם פון פֿעלנדיקע דאַטן (MCAR/MAR/MNAR), די אַנאַליז אָביעקטיוו (פּרעדיקציע קעגן אינפֿערענץ), און די קעראַקטעריסטיקס פון די דאַטן (צייט סעריע, ספּיישאַל, געמישט). מיטן ריכטיקן צוגאַנג, העלפֿט אימפּוטאַציע אויפֿהאַלטן די אָרנטלעכקייט פון דער אַנאַליז און גיט מער פֿאַרלעסלעכע מסקנות.
