Метады імпутацыі ў статыстыцы
У практыцы статыстыкі і аналізу дадзеных амаль заўсёды ўзнікае праблема адсутнасці дадзеных. Дадзеныя могуць адсутнічаць з-за таго, што рэспандэнты не адказваюць на пэўныя пытанні, памылкі запісу, перашкоды датчыкаў, пашкоджанне дадзеных падчас здабывання або з-за працэсу аб'яднання некалькіх крыніц дадзеных, якія не цалкам супадаюць. Калі з імі не апрацоўваць належным чынам, адсутнасць дадзеных можа пагоршыць якасць аналізу , знізіць магутнасць тэсту і нават прывесці да прадузятых высноў. Адным з найбольш распаўсюджаных падыходаў да апрацоўкі адсутных дадзеных з'яўляецца імпутацыя, якая прадугледжвае запаўненне адсутных значэнняў ацэначнымі значэннямі на аснове даступнай інфармацыі.
Чаму важная імпутацыя?
Існуе некалькі прычын, чаму імпутацыю часта выбіраюць замест простага выдалення адсутных дадзеных. Па-першае, выдаленне радкоў/назіранняў, якія змяшчаюць адсутныя значэнні (напрыклад, спіскавае выдаленне), можа значна паменшыць памер выбаркі, асабліва калі працэнт адсутных дадзеных значны. Па-другое, калі дадзеныя адсутнічаюць не выпадковым чынам, выдаленне можа прывесці да зрушэння. Па-трэцяе, многія статыстычныя алгарытмы або алгарытмы машыннага навучання патрабуюць поўных дадзеных , што робіць імпутацыю зручным этапам папярэдняй апрацоўкі.
Аднак імпутацыя — гэта не проста «запаўненне прабелаў». Абраны метад павінен улічваць механізм адсутнасці дадзеных, структуру зменных і мэты аналізу. Няправільная імпутацыя можа «падмануць» мадэль, паменшыць дысперсію і зрабіць вынікі больш пэўнымі, чым яны ёсць на самой справе.
Механізм страты дадзеных
У статыстычнай літаратуры адсутнасць дадзеных звычайна класіфікуецца па трох асноўных прычынах:
1. MCAR (выпадковая адсутнасць): верагоднасць адсутнасці дадзеных не залежыць ад якіх-небудзь зменных, назіраных ці неназіраных. Напрыклад, анкета пашкоджана ў выніку няшчаснага выпадку.
2. MAR (Missing At Random - выпадковыя адсутнасці): верагоднасць адсутнасці дадзеных залежыць ад назіранай зменнай, але не залежыць ад самога адсутнага значэння пасля ўліку іншых зменных. Напрыклад, маладыя рэспандэнты часцей прапускаюць пытанні аб даходах, але ўзрост даступны.
3. MNAR (Missing Not At Random - адсутнасць невыпадкова): Верагоднасць адсутнасці дадзеных залежыць ад самога адсутнага значэння. Напрыклад, людзі з вельмі высокімі даходамі, як правіла, не раскрываюць свой даход.
Імпутацыя звычайна больш бяспечная пры MCAR/MAR. MNAR часта патрабуе мадэлі, якая відавочна ўлічвае адсутныя дадзеныя, або аналізу адчувальнасці.
Метад простага ўліку
1. Імпутацыя сярэдняга/медыяннага/модавага значэння
Найпрасцейшы метад — замяніць адсутныя значэнні сярэднім значэннем або медыянай для лікавых зменных і рэжымам для катэгарыяльных зменных. Перавагі: гэта проста, хутка і часта служыць базавай рысай. Недахопы: гэта можа паменшыць дысперсію і скажаць размеркаванне дадзеных, асабліва калі дадзеныя асіметрычныя або ўтрымліваюць выкіды. Медыяна звычайна больш устойлівая да выкідаў, чым сярэдняе значэнне..
2. Пастаянная імпутацыя
Адсутныя значэнні запаўняюцца пэўнай канстантай, напрыклад, 0, -1 або надпісам «Невядома». Гэта карысна, калі значэнне мае пэўнае значэнне (напрыклад, «няма транзакцыі») або калі мадэлі трэба даць дадатковы індыкатар, каб падкрэсліць адсутнасць. Аднак выбар адвольнай канстанты можа прывесці да ўзнікнення ілжывых заканамернасцей.
3. Імпутацыя гарачай палубы
У гарачай калодзе адсутныя значэнні запаўняюцца з выкарыстаннем значэнняў з іншых, «падобных» назіранняў (донараў) на аснове некалькіх ключавых зменных. Гэты метад папулярны ў апытаннях. Гарачыя калоды падтрымліваюць рэалістычныя значэнні, таму што яны фіксуюць фактычныя значэнні дадзеных, але вынікі адчувальныя да вызначэння «падабенства» і могуць прыводзіць да міжвыбаркавай варыяцыі.
Метад імпутацыі на аснове мадэлі
4. Рэгрэсійная імпутацыя
Адсутныя значэнні прагназуюцца з дапамогай рэгрэсійнай мадэлі іншых зменных. Для лікавых зменных можна выкарыстоўваць лінейную рэгрэсію; для катэгарыяльных зменных — таксама. лагістычная рэгрэсія або мультыміяльны. Перавага: выкарыстоўвае сувязі паміж зменнымі. Недахоп: выкарыстанне толькі дэтэрмінаваных прагназаваных значэнняў, як правіла, памяншае дысперсію, таму што ўсе ўведзеныя значэнні трапляюць дакладна на прагназаваную прамую. Каб вырашыць гэтую праблему, для большай рэалістычнасці часта дадаюцца выпадковыя кампаненты (напрыклад, рэшткі).
5. Імпутацыя k-бліжэйшых суседзяў (kNN)
Метад kNN запаўняе адсутныя значэнні на аснове сярэдняга значэння (або галасавання) k найбліжэйшых суседзяў. Блізкасць звычайна вымяраецца еўклідавай адлегласцю або іншай метрыкай пасля нармалізацыі дадзеных. Яго перавагі ўключаюць гнуткасць і здагадку аб адсутнасці лінейнай залежнасці. Недахопы ўключаюць вылічальныя выдаткі для вялікіх набораў дадзеных, адчувальнасць да зменнага маштабу і пагаршэнне прадукцыйнасці на шматмерных дадзеных (праклён памернасці).
6. Максімізацыя чаканняў (EM)
Падыход EM ацэньвае параметры мадэлі (напрыклад, сярэдняе значэнне і каварыяцыю для шматмерных нармальных дадзеных), апрацоўваючы адсутныя значэнні як латэнтныя зменныя. На этапе E ітэратыўна вылічваецца чаканае значэнне адсутных значэнняў на аснове бягучых параметраў, а затым на этапе M абнаўляе параметры на аснове чаканых «поўных» дадзеных. EM устойлівы да пэўных размеркавальных здагадак, але можа быць складаным і залежыць ад правільнасці здагадак мадэлі.
Множная імпутацыя: залаты стандарт у многіх выпадках
7. Множная імпутацыя (МІ)
Множная імпутацыя лічыцца адным з найбольш прынцыповых падыходаў да MAR. Замест таго, каб ствараць адзін поўны набор даных, MI генеруе некалькі набораў даных (напрыклад, 5–20) з рознымі імпутацыямі, якія адлюстроўваюць нявызначанасць. Кожны набор даных аналізуецца асобна, а затым вынікі аб'ядноўваюцца з выкарыстаннем правілаў Рубіна для атрымання больш слушных ацэнак і стандартных памылак.
Перавагі МІ:
– Улічвае нявызначанасць імпутацыі.
– Больш дакладныя для статыстычных высноў (даверныя інтэрвалы, праверка гіпотэз).
– Гнуткі для розных тыпаў зменных.
Яго абмежаванні:
– Больш складаная рэалізацыя.
– Патрабуе адэкватных здагадак і спецыфікацый мадэлі імпутацыі.
– Калі ў MNAR ёсць адсутныя дадзеныя, стандартны MI усё яшчэ можа быць зрушаны.
Імпутацыя для часовых шэрагаў і прасторавых дадзеных
У часовых шэрагах дадзеных адсутныя значэнні часта моцна карэлююць з папярэднімі і наступнымі значэннямі. Часта выкарыстоўваюцца такія метады, як лінейная інтэрпаляцыя, сплайны, фільтры Калмана або мадэлі ARIMA/State Space. Для прасторавых дадзеных такія падыходы, як крыгінг і прасторавыя мадэлі, могуць выкарыстоўваць геаграфічную блізкасць. Гэтыя метады эфектыўныя, калі дамінуе часавая/прасторавая структура, але неабходна быць асцярожнымі з раптоўнымі зменамі (напрыклад, эканамічнымі шокамі), якія могуць зрабіць простую інтэрпаляцыю памылковай.
Добрая практыка выбару метадаў імпутацыі
1. Правядзіце даследаванне адсутных даных: праверце працэнт адсутных значэнняў, заканамернасць адсутнасці і тое, ці звязана адсутнасць з пэўнай зменнай.
2. Падзяліце навучальныя і тэставыя дадзеныя: выконвайце імпутацыю шляхам «навучання» толькі з навучальных дадзеных, а затым ужывайце яе да тэставых дадзеных, каб пазбегнуць уцечкі дадзеных.
3. Разгледзьце тып зменнай: лікавая, катэгарыяльная, парадкавая або змешаная; адпаведны метад адрозніваецца.
4. Выкарыстоўвайце індыкатары адсутнасці: часам інфармацыя аб адсутнасці значэння сама па сабе з'яўляецца прагнастычнай; даданне індыкатарных зменных можа палепшыць прадукцыйнасць прагнастычнай мадэлі.
5. Ацаніце ўплыў імпутацыі: параўнайце размеркаванні да/пасля імпутацыі, праверце, ці паменшылася дысперсія, і праверце мадэль.
6. Прыярытэзуйце МІ для высноў: калі мэтай аналізу з'яўляецца ацэнка параметраў і статыстычнае тэставанне, множная імпутацыя часта больш мэтазгодная, чым аднаразовая.
Выснова
Імпутацыя з'яўляецца найважнейшым кампанентам сучасных статыстычных працоўных працэсаў для апрацоўкі адсутных дадзеных. Простыя метады, такія як сярэдняе значэнне/медыяна, могуць быць карыснымі ў якасці базавай лініі або для невялікіх адсутных дадзеных, але часта парушаюць структуру дадзеных і нявызначанасць. Метады на аснове мадэляў, такія як рэгрэсія, kNN і EM, выкарыстоўваюць сувязі паміж зменнымі, у той час як множная імпутацыя забяспечвае надзейную аснову для высноў, улічваючы нявызначанасць. Выбар найлепшага метаду залежыць ад механізму адсутных дадзеных (MCAR/MAR/MNAR), мэты аналізу (прагноз супраць высновы) і характарыстык дадзеных (часавыя шэрагі, прасторавыя, змешаныя). Пры правільным падыходзе імпутацыя дапамагае падтрымліваць цэласнасць аналізу і дае больш надзейныя высновы.
