Статистикадагы импульсиялык методдор
Статистика жана маалыматтарды талдоо практикасында маалыматтардын жоголушу көйгөйү дээрлик ар дайым пайда болот. Маалыматтар респонденттердин айрым суроолорго жооп бербегендигинен, жаздыруу каталарынан, сенсордун кийлигишүүсүнөн, маалыматтарды алуу учурундагы маалыматтардын бузулушунан же толук дал келбеген бир нече маалымат булактарын бириктирүү процессинен улам жоголушу мүмкүн. Эгерде туура эмес иштетилсе, жок болгон маалыматтар талдоо сапатын төмөндөтүп , тесттин күчүн төмөндөтүп, ал тургай бир жактуу тыянактарга алып келиши мүмкүн. Жок болгон маалыматтарды иштетүүнүн эң кеңири таралган ыкмаларынын бири - бул импутация, ал жок болгон маанилерди жеткиликтүү маалыматка негизделген болжолдуу маанилер менен толтурууну камтыйт.
Эмне үчүн айыптоо маанилүү?
Жок маалыматтарды жөн гана жок кылуунун ордуна импутация көп учурда тандалып алынышынын бир нече себептери бар. Биринчиден, жок маанилерди камтыган саптарды/байкоолорду жок кылуу (мисалы, тизме боюнча жок кылуу) үлгүнүн көлөмүн кескин азайтышы мүмкүн, айрыкча, жок маалыматтардын пайызы олуттуу болгондо. Экинчиден, эгерде маалыматтар кокусунан жок болуп кетпесе, жок кылуу бир жактуулукту пайда кылышы мүмкүн. Үчүнчүдөн, көптөгөн статистикалык же машиналык үйрөнүү алгоритмдери толук маалыматтарды талап кылат , бул импутацияны алдын ала иштетүүнүн ыңгайлуу кадамына айлантат.
Бирок, импутация жөн гана "боштуктарды толтуруу" жөнүндө эмес. Тандалган ыкма жетишпеген маалыматтардын механизмин, өзгөрмөлөрдүн түзүмүн жана анализдин максаттарын эске алышы керек. Начар импутация моделди "алдап", дисперсияны азайтып, натыйжаларды чындыгында болгондон да ишенимдүү кылып көрсөтүшү мүмкүн.
Жоголгон маалыматтар механизми
Статистикалык адабияттарда жок маалыматтар, адатта, үч негизги механизмге бөлүнөт:
1. MCAR (Толугу менен кокустук түрдө жок болуу): маалыматтардын жок болуу ыктымалдыгы байкалган же байкалбаган кандайдыр бир өзгөрмөлөргө көз каранды эмес. Мисалы, кырсыктан улам бузулган анкета.
2. MAR (Кокусунан жок болуп кетүү): маалыматтардын жок болуп кетүү ыктымалдыгы байкалган өзгөрмөгө көз каранды, бирок башка өзгөрмөлөрдү көзөмөлдөгөндөн кийин жок болуп кеткен маанинин өзүнөн көз каранды эмес. Мисалы, жаш респонденттер киреше суроолорун өткөрүп жибериши мүмкүн, бирок жаш курагы бар.
3. MNAR (Кокусунан эмес, жок болуп кетүү): Маалыматтардын жок болуп кетүү ыктымалдыгы жок маанинин өзүнөн көз каранды. Мисалы, кирешеси өтө жогору адамдар кирешелерин ачыкка чыгарбайт.
Импутация MCAR/MAR боюнча жалпысынан коопсуз. MNAR көбүнчө жок маалыматтарды же сезгичтик анализин ачык түрдө эске алган моделди талап кылат.
Жөнөкөй импультация ыкмасы
1. Орточо/Медиана/Режимдик импультация
Эң жөнөкөй ыкма - жок маанилерди сандык өзгөрмөлөр үчүн орточо же медиана менен, ал эми категориялык өзгөрмөлөр үчүн режим менен алмаштыруу. Артыкчылыктары: ал оңой, тез жана көп учурда баштапкы сызык катары кызмат кылат. Кемчиликтери: ал дисперсияны азайтып, маалыматтардын бөлүштүрүлүшүн бурмалашы мүмкүн, айрыкча маалыматтар асимметриялык болсо же четтөөлөрдү камтыса. Медиана, адатта, орточо мааниге караганда четтөөчү маанилерге карата туруктуураак болот..
2. Туруктуу импутация
Жок болгон маанилер 0, -1 же "Белгисиз" деген белги сыяктуу белгилүү бир туруктуу маани менен толтурулат. Бул маани белгилүү бир мааниге ээ болгондо (мисалы, "транзакция жок") же жок болгон нерсени белгилөө үчүн моделге кошумча индикатор берүү керек болгондо пайдалуу. Бирок, каалагандай туруктууну тандоо жасалма үлгүлөрдү киргизиши мүмкүн.
3. Хот-Дек импутациясы
Хот-декада жок маанилер бир нече негизги өзгөрмөлөргө негизделген башка, "окшош" байкоолордун (донорлордун) маанилерин колдонуу менен толтурулат. Бул ыкма сурамжылоолордо кеңири таралган. Хот-декалар реалдуу маанилерди сактайт, анткени алар маалыматтардын чыныгы маанилерин чагылдырат, бирок натыйжалар "окшоштуктун" аныктамасына сезгич келет жана үлгүлөр аралык вариацияларды жаратышы мүмкүн.
Моделге негизделген импутация ыкмасы
4. Регрессиялык импутация
Жок болгон маанилер башка өзгөрмөлөрдүн регрессиялык моделин колдонуу менен болжолдонот. Сандык өзгөрмөлөр үчүн сызыктуу регрессияны колдонсо болот; категориялык өзгөрмөлөр үчүн аны колдонсо болот. логистикалык регрессия же көп мүчөлүү. Артыкчылыгы: өзгөрмөлөрдүн ортосундагы байланыштарды пайдаланат. Кемчилиги: детерминисттик болжолдонгон маанилерди гана колдонуу дисперсияны азайтат, анткени бардык импультацияланган маанилер болжолдонгон сызыкка так туура келет. Муну чечүү үчүн, реалдуулукту жогорулатуу үчүн кокустук компоненттер (мисалы, калдыктар) көп учурда кошулат.
5. k-Жакын кошуналар (kNN) импутациясы
kNN ыкмасы жок маанилерди k жакынкы кошуналарынын орточо (же добуш берүү) негизинде толтурат. Жакындык, адатта, маалыматтар нормалдаштырылгандан кийин Евклиддик аралык же башка метрика менен өлчөнөт. Анын артыкчылыктарына ийкемдүүлүк жана сызыктуу байланыштын жоктугу кирет. Кемчиликтерине чоң маалыматтар топтомдору үчүн эсептөө жагынан кымбат, өзгөрүлмө масштабга сезгичтик жана жогорку өлчөмдүү маалыматтар боюнча иштин начарлашы (өлчөмдүүлүктүн каргышы) кирет.
6. Күтүүнү максималдаштыруу (КМ)
ЭМ ыкмасы жок маанилерди жашыруун өзгөрмөлөр катары кароо менен моделдин параметрлерин (мисалы, көп өзгөрмөлүү нормалдуу маалыматтар үчүн орточо маани жана ковариация) баалайт. Е кадамы учурдагы параметрлердин негизинде жок маанилердин күтүлүшүн кайталап эсептейт, андан кийин М кадамы күтүлгөн "толук" маалыматтардын негизинде параметрлерди жаңыртат. ЭМ белгилүү бир бөлүштүрүү божомолдоруна туруктуу, бирок татаал болушу мүмкүн жана моделдин божомолдорунун тууралыгына көз каранды.
Көп айыптоо: Көп учурларда алтын стандарт
7. Көп импутация (МИ)
Көп импутация MARга эң принциптүү ыкмалардын бири деп эсептелет. Бир гана толук маалымат топтомун түзүүнүн ордуна, MI белгисиздикти чагылдырган ар кандай импутациялары бар бир нече маалымат топтомун (мисалы, 5–20) түзөт. Ар бир маалымат топтому өзүнчө талданат, андан кийин натыйжалар Рубиндин эрежелерин колдонуу менен бириктирилип, алда канча жарактуу баалоолорду жана стандарттык каталарды алат.
МИнин артыкчылыктары:
– Импутациянын белгисиздигин эске алат.
– Статистикалык тыянак чыгаруу үчүн такыраак (ишеним аралыктары, гипотезаны текшерүү).
– Ар кандай өзгөрмөлөр үчүн ийкемдүү.
Анын чектөөлөрү:
– ишке ашыруу татаалыраак.
– Адекваттуу божомолдорду жана импутация моделинин спецификацияларын талап кылат.
– Эгерде MNARда бир нерсе жетишпесе, стандарттуу MI дагы эле бир жактуу болушу мүмкүн.
Убакыт катарлары жана мейкиндик маалыматтары үчүн импутация
Убакыт катарларынын маалыматтарында жок болгон маанилер көбүнчө мурунку жана кийинки маанилери менен тыгыз корреляцияланат. Сызыктуу интерполяция, сплайндар, Калман чыпкалары же ARIMA/Абал мейкиндик моделдери сыяктуу ыкмалар көп колдонулат. Мейкиндик маалыматтары үчүн кригинг жана мейкиндик моделдери сыяктуу ыкмалар географиялык жакындыкты пайдалана алат. Бул ыкмалар убакыттык/мейкиндик түзүлүшү үстөмдүк кылганда натыйжалуу, бирок жөнөкөй интерполяцияны адаштыруучу кескин өзгөрүүлөргө (мисалы, экономикалык шокторго) каршы этият болуу керек.
Импутация ыкмаларын тандоодогу жакшы тажрыйбалар
1. Жок маалыматтарды изилдөө: жок болгон маанилердин пайызын, жок болуу схемасын жана жок болуу белгилүү бир өзгөрмөгө байланыштуубу же жокпу, текшериңиз.
2. Окутуу жана тест маалыматтарын бөлүңүз: маалыматтардын агып кетишине жол бербөө үчүн, окутуу маалыматтарынан гана "үйрөнүү" аркылуу эсептөөлөрдү жүргүзүңүз, андан кийин аны тест маалыматтарына колдонуңуз.
3. Өзгөрмөнүн түрүн карап көрүңүз: сандык, категориялык, иреттик же аралаш; тиешелүү ыкма башкача.
4. Жоктук көрсөткүчтөрүн колдонуңуз: кээде маани жок экендиги тууралуу маалымат өзү эле алдын ала айтуу болуп саналат; көрсөткүч өзгөрмөлөрүн кошуу алдын ала айтуу моделинин иштешин жакшырта алат.
5. Импутациянын таасирин баалоо: импутацияга чейинки/кийинки бөлүштүрүүлөрдү салыштыруу, дисперсия азайганын текшерүү жана моделди текшерүү.
6. Жыйынтык чыгаруу үчүн МИге артыкчылык бериңиз: анализдин максаты параметрлерди баалоо жана статистикалык тестирлөө болгондо, бир нече импультация көп учурда бир импультка караганда ылайыктуураак.
Корутунду
Импутация - жок маалыматтарды иштетүү үчүн заманбап статистикалык жумуш агымдарынын маанилүү компоненти. Орточо/медиана сыяктуу жөнөкөй ыкмалар баштапкы же кичинекей жок маалыматтар үчүн пайдалуу болушу мүмкүн, бирок көп учурда маалыматтардын түзүмүн жана белгисиздикти бузат. Регрессия, kNN жана EM сыяктуу моделге негизделген ыкмалар өзгөрмөлөрдүн ортосундагы байланыштарды пайдаланат, ал эми Көптүк импутация белгисиздикти эске алуу менен тыянак чыгаруу үчүн бекем алкакты камсыз кылат. Эң жакшы ыкманы тандоо жок маалыматтардын механизмине (MCAR/MAR/MNAR), талдоо максатына (алдын ала айтуу жана тыянак чыгаруу) жана маалыматтардын мүнөздөмөлөрүнө (убакыт катарлары, мейкиндик, аралаш) жараша болот. Туура мамиле менен импутация талдоо бүтүндүгүн сактоого жардам берет жана ишенимдүү тыянактарды берет.
