Методи на импутација во статистиката
Во практиката на статистиката и анализата на податоци, проблемот со недостасувачките податоци речиси секогаш се појавува. Податоците може да недостасуваат поради тоа што испитаниците не одговараат на одредени прашања, грешки во евидентирањето, пречки од сензорите, оштетени податоци за време на извлекувањето или поради процесот на комбинирање на повеќе извори на податоци кои не се совпаѓаат целосно. Доколку не се обработуваат правилно, недостасувачките податоци можат да го деградираат квалитетот на анализата, да ја намалат моќта на тестот, па дури и да доведат до пристрасни заклучоци. Еден од најчестите пристапи за справување со недостасувачките податоци е импутацијата, што вклучува пополнување на недостасувачките вредности со проценети вредности врз основа на достапните информации.
Зошто е важна импутацијата?
Постојат неколку причини зошто импутацијата често се избира наместо едноставно бришење на недостасувачките податоци. Прво, бришењето редови/набљудувања што содржат недостасувачки вредности (на пр., бришење по листа) може драстично да ја намали големината на примерокот, особено кога процентот на недостасувачки податоци е значаен. Второ, ако податоците не недостасуваат случајно, бришењето може да воведе пристрасност. Трето, многу статистички или алгоритми за машинско учење бараат комплетни податоци, што ја прави импутацијата удобен чекор на претходна обработка.
Сепак, импутацијата не е едноставно за „пополнување на празнините“. Избраниот метод мора да го земе предвид механизмот на недостасувачките податоци, структурата на променливите и целите на анализата. Лошата импутација може да го „измами“ моделот, да ја намали варијансата и да ги направи резултатите да изгледаат посигурни отколку што всушност се.
Механизам за изгубени податоци
Во статистичката литература, недостасувачките податоци обично се класифицираат во три главни механизми:
1. MCAR (целосно случајно отсуство на податоци): веројатноста за целосно отсуство на податоци е независна од кои било променливи, набљудувани или ненабљудувани. На пример, прашалник оштетен од несреќа.
2. MAR (Случајно недостапни податоци): веројатноста за недостапни податоци зависи од набљудуваната променлива, но не зависи од самата вредност што недостасува по контролата на другите променливи. На пример, помладите испитаници имаат поголема веројатност да ги пропуштат прашањата за приходот, но возраста е достапна.
3. MNAR (Непропустливи податоци): Веројатноста за недостасување на податоци зависи од самата недостасувачка вредност. На пример, луѓето со многу високи приходи имаат тенденција да не ги откриваат своите приходи.
Импутацијата е генерално побезбедна според MCAR/MAR. MNAR често бара модел кој експлицитно ги зема предвид недостасувачките податоци или анализа на чувствителност.
Едноставен метод на импутација
1. Средна/медијанска/модна импутација
Наједноставниот метод е да се заменат недостасувачките вредности со средна вредност или медијана за нумерички променливи, и мод за категорични променливи. Предностите се: лесен е, брз и често служи како основа. Недостатоците се: може да ја намали варијансата и да ја наруши дистрибуцијата на податоците, особено ако податоците се асиметрични или содржат отстапувања. Медијаната е генерално поиздржлива на отстапувањата отколку средната вредност.
2. Константна импутација
Недостасувачките вредности се пополнуваат со специфична константа, како што се 0, -1 или ознаката „Непознато“. Ова е корисно кога вредноста има специфично значење (на пр., „нема трансакција“) или кога на моделот треба да му се даде дополнителен индикатор за да се истакне недостатокот. Сепак, изборот на произволна константа може да воведе лажни шеми.
3. Импутација на топла палуба
Во hot deck, недостасувачките вредности се пополнуваат со користење на вредности од други, „слични“ набљудувања (донатори) врз основа на неколку клучни варијабли. Овој метод е популарен во анкетите. Hot deck-овите одржуваат реални вредности бидејќи ги доловуваат вистинските вредности на податоците, но резултатите се чувствителни на дефиницијата за „сличност“ и можат да произведат варијација меѓу примероците.
Метод на импутација базиран на модел
4. Регресивна импутација
Недостасувачките вредности се предвидуваат со помош на регресивен модел изведен од други променливи. За нумерички променливи може да се користи линеарна регресија; за категорични променливи може да се користи логистичка или мултиномна регресија. Предноста е што ги искористува врските меѓу променливите. Недостатокот е што користењето само детерминистички предвидени вредности има тенденција да ја намали варијансата бидејќи сите импутирани вредности паѓаат точно на линијата на предвидување. За да се реши ова, често се додаваат случајни компоненти (на пр., остатоци) за поголем реализам.
5. Импутација на k-најблиски соседи (kNN)
Методот kNN ги пополнува недостасувачките вредности врз основа на просекот (или гласањето) на k најблиските соседи. Близината обично се мери со Евклидово растојание или друга метрика откако податоците ќе се нормализираат. Неговите предности вклучуваат флексибилност и претпоставка за отсуство на линеарна врска. Недостатоците вклучуваат пресметковна скапост за големи збирки податоци, чувствителност на променлива скала и деградација на перформансите на високодимензионални податоци (проклетство на димензионалноста).
6. Максимизација на очекувањата (МО)
Пристапот EM ги проценува параметрите на моделот (на пр., средна вредност и коваријанса за мултиваријантни нормални податоци) со третирање на недостасувачките вредности како латентни варијабли. Чекорот E итеративно го пресметува очекуваното за недостасувачки вредности врз основа на тековните параметри, а потоа чекорот M ги ажурира параметрите врз основа на очекуваните „целосни“ податоци. EM е робустен на одредени дистрибутивни претпоставки, но може да биде комплексен и зависи од точноста на претпоставките на моделот.
Повеќекратна импутација: Златен стандард во многу случаи
7. Повеќекратна импутација (МИ)
Повеќекратната импутација се смета за еден од најпринципиелните пристапи кон MAR. Наместо да генерира еден комплетен збир на податоци, MI генерира повеќе збирови на податоци (на пр., 5–20) со различни импутации што одразуваат неизвесност. Секој збир на податоци се анализира одделно, а потоа резултатите се комбинираат со користење на Рубиновите правила за да се добијат повалидни проценки и стандардни грешки.
Предности на МИ:
– Прифаќа неизвесност при припишување.
– Попрецизно за статистичко заклучување (интервали на доверба, тестирање на хипотези).
– Флексибилно за различни типови на променливи.
Нејзините ограничувања:
– Посложена имплементација.
– Потребни се соодветни претпоставки и спецификации на моделот за импутација.
– Ако има недостатоци во MNAR, стандардниот MI сè уште може да биде пристрасен.
Импутација за временски серии и просторни податоци
Во податоците од временските серии, недостасувачките вредности често се силно корелирани со нивните претходни и последователни вредности. Често се користат методи како што се линеарна интерполација, сплајнови, Калманови филтри или ARIMA/State Space модели. За просторни податоци, пристапи како што се кригинг и просторни модели можат да ја искористат географската близина. Овие методи се ефикасни кога временската/просторната структура е доминантна, но мора да се биде претпазлив во однос на ненадејните промени (на пр., економски шокови) што можат да ја направат едноставната интерполација погрешна.
Добри практики при избор на методи за импутација
1. Спроведете истражување на недостасувачки податоци: проверете го процентот на недостасувачки вредности, моделот на недостасување и дали недостасувањето е поврзано со одредена променлива.
2. Одделете ги податоците за обука и тестирање: извршете импутација со „учење“ само од податоците за обука, а потоа применете ја на податоците за тестирање за да се избегне истекување на податоци.
3. Разгледајте го типот на променлива: нумеричка, категорична, редна или мешана; соодветниот метод се разликува.
4. Користете индикатори за недостасување: понекогаш информацијата дека недостасува вредност е сама по себе предвидлива; додавањето индикаторски променливи може да ги подобри перформансите на предикативниот модел.
5. Оценете го влијанието на импутацијата: споредете ги распределбите пред/по импутацијата, проверете дали варијансата се намалила и валидирајте го моделот.
6. Дајте приоритет на МИ за инференција: кога целта на анализата е проценка на параметрите и статистичко тестирање, повеќекратната импутација е често посоодветна од единечната импутација.
Заклучок
Импутацијата е клучна компонента на современите статистички работни процеси за справување со недостасувачки податоци. Едноставните методи како средна вредност/медијана можат да бидат корисни како основа или за мали недостасувања, но честопати ја компромитираат структурата на податоците и неизвесноста. Методите базирани на модели како регресија, kNN и EM ги искористуваат врските меѓу променливите, додека повеќекратната импутација обезбедува робусна рамка за инференција со земање предвид на неизвесноста. Изборот на најдобриот метод зависи од механизмот на недостасувачки податоци (MCAR/MAR/MNAR), целта на анализата (предвидување наспроти инференција) и карактеристиките на податоците (временски серии, просторни, мешани). Со правилен пристап, импутацијата помага во одржувањето на интегритетот на анализата и дава посигурни заклучоци.
