Статистикийн импульсийн аргууд
Статистик болон өгөгдлийн шинжилгээний практикт өгөгдөл дутуу байх асуудал бараг үргэлж гарч ирдэг. Хариулагчид тодорхой асуултанд хариулаагүй, бичлэгийн алдаа, мэдрэгчийн хөндлөнгийн оролцоо, гаргаж авах явцад өгөгдлийн эвдрэл, эсвэл бүрэн тохирохгүй олон өгөгдлийн эх сурвалжийг нэгтгэх үйл явцаас шалтгаалан өгөгдөл дутуу байж болно. Хэрэв зөв боловсруулаагүй бол дутуу байгаа өгөгдөл нь шинжилгээний чанарыг бууруулж , туршилтын хүчийг бууруулж, тэр ч байтугай нэг талыг барьсан дүгнэлтэд хүргэж болзошгүй юм. Дутуу байгаа өгөгдлийг зохицуулах хамгийн түгээмэл аргуудын нэг бол импутация бөгөөд энэ нь дутуу байгаа утгыг боломжтой мэдээлэлд үндэслэн тооцоолсон утгуудаар дүүргэх явдал юм.
Яагаад буруутгах нь чухал вэ?
Алга болсон өгөгдлийг зүгээр л устгахаас илүүтэйгээр нөхөх аргыг сонгох хэд хэдэн шалтгаан бий. Нэгдүгээрт, алга болсон утгуудыг агуулсан мөр/ажиглалтыг устгах (жишээ нь, жагсаалтын дагуу устгах) нь түүврийн хэмжээг эрс багасгаж болзошгүй, ялангуяа алга болсон өгөгдлийн хувь хэмжээ мэдэгдэхүйц байх үед. Хоёрдугаарт, хэрэв өгөгдөл санамсаргүй байдлаар алга болоогүй бол устгах нь алдааг бий болгож болзошгүй. Гуравдугаарт, олон статистик эсвэл машин сургалтын алгоритмууд бүрэн өгөгдөл шаарддаг тул нөхөхийг урьдчилан боловсруулахад тохиромжтой алхам болгодог.
Гэсэн хэдий ч импутация нь зүгээр л "цоорхойг нөхөх" тухай биш юм. Сонгосон арга нь дутуу өгөгдлийн механизм, хувьсагчдын бүтэц, шинжилгээний зорилгыг харгалзан үзэх ёстой. Буруу импутация нь загварыг "хуурч", дисперсийг бууруулж, үр дүнг бодит байдлаас илүү тодорхой харагдуулж болзошгүй.
Алдагдсан өгөгдлийн механизм
Статистикийн уран зохиолд алга болсон өгөгдлийг ихэвчлэн гурван үндсэн механизмд ангилдаг:
1. MCAR (Санамсаргүй байдлаар бүрэн алга болсон): өгөгдөл алга болох магадлал нь ажиглагдсан эсвэл ажиглагдаагүй аливаа хувьсагчаас хамааралгүй байдаг. Жишээлбэл, ослын улмаас гэмтсэн асуулгын хуудас.
2. MAR (Санамсаргүй байдлаар алга болсон): өгөгдөл алга болох магадлал нь ажиглагдсан хувьсагчаас хамаарах боловч бусад хувьсагчдыг хянасны дараа алга болсон утгаас өөрөөс нь хамаарахгүй. Жишээлбэл, залуу хариулагчид орлогын асуултуудыг алгасах магадлал өндөр боловч нас боломжтой.
3. MNAR (Санамсаргүй биш, алга болсон): Өгөгдөл алга болох магадлал нь алга болсон утгаас өөрөөс нь хамаарна. Жишээлбэл, маш өндөр орлоготой хүмүүс орлогоо ил тод зарладаггүй хандлагатай байдаг.
MCAR/MAR-ийн дагуу импутация нь ерөнхийдөө илүү аюулгүй байдаг. MNAR нь дутуу өгөгдөл эсвэл мэдрэмжийн шинжилгээг тодорхой тайлбарласан загварыг ихэвчлэн шаарддаг.
Энгийн импульсийн арга
1. Дундаж/Медиан/Горимын импультаци
Хамгийн энгийн арга бол алга болсон утгуудыг тоон хувьсагчдын хувьд дундаж буюу медианаар, ангиллын хувьсагчдын хувьд горимоор солих явдал юм. Давуу талууд нь: хялбар, хурдан бөгөөд ихэвчлэн суурь шугам болж үйлчилдэг. Сул талууд нь: ялангуяа өгөгдөл нь тэгш бус эсвэл гадуурх утга агуулсан тохиолдолд хэлбэлзлийг бууруулж, өгөгдлийн тархалтыг гажуудуулж болзошгүй. Медиан нь ихэвчлэн дундажаас илүү гажуудлын эсрэг илүү хүчтэй байдаг..
2. Тогтмол импульс
Алга болсон утгуудыг 0, -1 эсвэл "Үл мэдэгдэх" гэсэн шошго гэх мэт тодорхой тогтмолоор дүүргэдэг. Энэ нь утга нь тодорхой утгатай үед (жишээлбэл, "гүйлгээ байхгүй"), эсвэл загварт дутуу байгааг тодруулахын тулд нэмэлт индикатор өгөх шаардлагатай үед хэрэгтэй. Гэсэн хэдий ч дурын тогтмол сонгох нь хуурамч хэв маягийг бий болгож болзошгүй.
3. Халуун тавцангийн импульс
Халуун тавцан дээр дутуу байгаа утгуудыг хэд хэдэн гол хувьсагч дээр үндэслэсэн бусад "ижил төстэй" ажиглалтаас (хандивлагчид) авсан утгуудыг ашиглан нөхдөг. Энэ арга нь судалгаанд түгээмэл байдаг. Халуун тавцан нь өгөгдлийн бодит утгыг авдаг тул бодит утгыг хадгалдаг боловч үр дүн нь "ижил төстэй байдал"-ын тодорхойлолтод мэдрэмтгий бөгөөд түүвэр хоорондын хэлбэлзлийг бий болгож чаддаг.
Загварт суурилсан импульсийн арга
4. Регрессийн импульс
Алга болсон утгуудыг бусад хувьсагчдын регрессийн загварыг ашиглан таамаглаж байна. Тоон хувьсагчдын хувьд шугаман регрессийг ашиглаж болно; ангиллын хувьсагчдын хувьд үүнийг ашиглаж болно. логистик регресс эсвэл олон гишүүнт. Давуу тал: хувьсагчдын хоорондын хамаарлыг ашигладаг. Сул тал: зөвхөн детерминистик таамагласан утгуудыг ашиглах нь бүх таамагласан утга нь таамагласан шугам дээр яг таардаг тул дисперсийг бууруулах хандлагатай байдаг. Үүнийг шийдвэрлэхийн тулд илүү бодитой байхын тулд санамсаргүй бүрэлдэхүүн хэсгүүдийг (жишээлбэл, үлдэгдэл) ихэвчлэн нэмдэг.
5. k-Ойролцоох хөршүүд (kNN)-ийн импуляция
kNN арга нь хамгийн ойрын k хөршийн дундаж (эсвэл санал хураалт) дээр үндэслэн дутуу утгуудыг нөхдөг. Ойролцоо байдлыг ихэвчлэн өгөгдлийг хэвийн болгосны дараа Евклидийн зай эсвэл өөр метрикээр хэмждэг. Үүний давуу талууд нь уян хатан байдал болон шугаман хамааралгүй гэсэн таамаглал юм. Сул талууд нь том өгөгдлийн багцын тооцооллын өртөг өндөр, хувьсах хэмжигдэхүүнд мэдрэмтгий байдал, өндөр хэмжээст өгөгдөл дээрх гүйцэтгэлийн доройтол (хэмжээсийн хараал) орно.
6. Хүлээлт-Максимум болгох (EM)
EM арга нь алга болсон утгуудыг далд хувьсагч гэж үзэн загварын параметрүүдийг (жишээлбэл, олон хувьсагчтай хэвийн өгөгдлийн дундаж ба ковариац) тооцоолдог. E алхам нь одоогийн параметрүүд дээр үндэслэн алга болсон утгуудын хүлээлтийг давталттайгаар тооцоолж, дараа нь M алхам нь хүлээгдэж буй "бүрэн" өгөгдөл дээр үндэслэн параметрүүдийг шинэчилдэг. EM нь тодорхой тархалтын таамаглалд бат бөх боловч нарийн төвөгтэй байж болох бөгөөд загварын таамаглалын зөв байдлаас хамаарна.
Олон буруутгал: Олон тохиолдолд алтан стандарт
7. Олон импутаци (MI)
Олон импутация нь MAR-ийн хамгийн зарчимч аргуудын нэг гэж тооцогддог. Нэг бүрэн өгөгдлийн багц үүсгэхийн оронд MI нь тодорхойгүй байдлыг тусгасан өөр өөр импутация бүхий олон өгөгдлийн багц (жишээ нь, 5–20) үүсгэдэг. Өгөгдлийн багц бүрийг тусад нь шинжилж, дараа нь үр дүнг Рубины дүрмийг ашиглан нэгтгэн илүү хүчин төгөлдөр тооцоолол болон стандарт алдааг олж авдаг.
МИ-ийн давуу талууд:
– Тооцооллын тодорхойгүй байдлыг харгалзан үздэг.
– Статистикийн дүгнэлтэд илүү нарийвчлалтай (итгэлийн интервал, таамаглалын тест).
- Төрөл бүрийн хувьсагчдын хувьд уян хатан.
Үүний хязгаарлалтууд:
- Илүү төвөгтэй хэрэгжилт.
– Хангалттай таамаглал болон импуляцийн загварын тодорхойлолтыг шаарддаг.
– Хэрэв MNAR-д дутагдал байгаа бол стандарт MI нь нэг талыг барьсан хэвээр байж болно.
Цагийн цуваа болон орон зайн өгөгдлийн импульс
Цагийн цувааны өгөгдөлд алга болсон утгууд нь өмнөх болон дараагийн утгуудтай нь ихэвчлэн хүчтэй хамааралтай байдаг. Шугаман интерполяци, сплайн, Калманы шүүлтүүр эсвэл ARIMA/Төлөвийн орон зайн загвар зэрэг аргуудыг ихэвчлэн ашигладаг. Орон зайн өгөгдлийн хувьд кригинг болон орон зайн загвар зэрэг аргууд нь газарзүйн ойролцоо байдлыг ашиглаж болно. Эдгээр аргууд нь цаг хугацаа/орон зайн бүтэц давамгайлах үед үр дүнтэй байдаг боловч энгийн интерполяцийг төөрөгдүүлж болзошгүй гэнэтийн өөрчлөлтүүдээс (жишээлбэл, эдийн засгийн цочрол) болгоомжлох хэрэгтэй.
Импутатчлалын аргуудыг сонгох сайн туршлагууд
1. Алга болсон өгөгдлийн судалгаа хийх: алга болсон утгуудын хувь хэмжээ, алга болсон байдлын хэв маяг, мөн алга болсон нь тодорхой хувьсагчтай холбоотой эсэхийг шалгах.
2. Сургалт болон туршилтын өгөгдлийг тусад нь хийх: зөвхөн сургалтын өгөгдлөөс "суралцах" замаар тооцоолол хийж, дараа нь өгөгдөл алдагдахаас зайлсхийхийн тулд туршилтын өгөгдөлд хэрэглэнэ.
3. Хувьсагчийн төрлийг авч үзье: тоон, ангиллын, дэс дарааллын эсвэл холимог; тохирох арга нь өөр байна.
4. Дутуу байгаагийн үзүүлэлтүүдийг ашиглах: заримдаа утга дутуу байгаа тухай мэдээлэл нь өөрөө урьдчилан таамаглах шинж чанартай байдаг; үзүүлэлтийн хувьсагчдыг нэмэх нь урьдчилан таамаглах загварын гүйцэтгэлийг сайжруулж чадна.
5. Оруулгын нөлөөллийг үнэлэх: орлуулалтын өмнөх/дараа тархалтыг харьцуулж, дисперс буурсан эсэхийг шалгаж, загварыг баталгаажуулна уу.
6. Дүгнэлт гаргахын тулд MI-г эрэмбэлэх: шинжилгээний зорилго нь параметрийн тооцоолол болон статистикийн туршилт байх үед олон нөхцлөөр тооцох нь дан нөхцлөөс илүү тохиромжтой байдаг.
Дүгнэлт
Импутация нь дутуу өгөгдлийг боловсруулах орчин үеийн статистикийн ажлын урсгалын чухал бүрэлдэхүүн хэсэг юм. Дундаж/медиан гэх мэт энгийн аргууд нь суурь шугам эсвэл жижиг дутуу зүйлсийг шийдвэрлэхэд ашигтай байж болох ч ихэвчлэн өгөгдлийн бүтэц болон тодорхойгүй байдлыг алдагдуулдаг. Регресс, kNN, EM зэрэг загварт суурилсан аргууд нь хувьсагчдын хоорондын хамаарлыг ашигладаг бол Олон импутация нь тодорхойгүй байдлыг харгалзан дүгнэлт хийх бат бөх хүрээг бий болгодог. Хамгийн сайн аргыг сонгох нь дутуу өгөгдлийн механизм (MCAR/MAR/MNAR), шинжилгээний зорилго (таамаглал ба дүгнэлт) болон өгөгдлийн шинж чанараас (цаг хугацааны цуваа, орон зайн, холимог) хамаарна. Зөв арга барилаар импутация нь шинжилгээний бүрэн бүтэн байдлыг хадгалахад тусалдаг бөгөөд илүү найдвартай дүгнэлт өгдөг.
