Cov Txheej Txheem Imputation hauv Kev Txheeb Xyuas
Hauv kev xyaum ua lej thiab kev tshuaj xyuas cov ntaub ntawv, qhov teeb meem ntawm cov ntaub ntawv ploj lawm yuav luag txhua zaus tshwm sim. Cov ntaub ntawv tuaj yeem ploj lawm vim yog cov neeg teb tsis teb qee cov lus nug, sau cov yuam kev, cuam tshuam ntawm lub sensor, cov ntaub ntawv puas tsuaj thaum rho tawm, lossis vim yog cov txheej txheem ntawm kev sib koom ua ke ntau qhov chaw cov ntaub ntawv uas tsis sib xws tag nrho. Yog tias tsis ua haujlwm kom raug, cov ntaub ntawv ploj lawm tuaj yeem ua rau qhov zoo ntawm kev tshuaj xyuas poob qis, txo lub zog ntawm kev xeem, thiab txawm tias ua rau muaj kev xaus lus tsis ncaj ncees. Ib qho ntawm cov txheej txheem feem ntau rau kev tswj cov ntaub ntawv ploj lawm yog kev hais lus, uas cuam tshuam nrog kev sau cov nqi ploj lawm nrog cov nqi kwv yees raws li cov ntaub ntawv muaj.
Vim li cas kev lees paub thiaj li tseem ceeb?
Muaj ntau yam laj thawj vim li cas kev muab cov ntaub ntawv tso rau hauv feem ntau xaiv dua li tsuas yog rho tawm cov ntaub ntawv uas ploj lawm. Ua ntej, kev rho tawm cov kab / kev soj ntsuam uas muaj cov nqi uas ploj lawm (piv txwv li, kev rho tawm daim ntawv teev npe) tuaj yeem txo qhov loj me ntawm cov qauv, tshwj xeeb tshaj yog thaum feem pua ntawm cov ntaub ntawv uas ploj lawm yog qhov tseem ceeb. Qhov thib ob, yog tias cov ntaub ntawv tsis ploj ntawm random, kev rho tawm tuaj yeem ua rau muaj kev ntxub ntxaug. Qhov thib peb, ntau cov txheej txheem kev suav lej lossis kev kawm tshuab xav tau cov ntaub ntawv tiav, ua rau kev muab cov ntaub ntawv tso rau hauv ib kauj ruam yooj yim ua ntej.
Txawm li cas los xij, kev muab piv tsis yog hais txog "kev sau cov qhov tsis txaus." Txoj kev xaiv yuav tsum xav txog cov txheej txheem ntawm cov ntaub ntawv uas ploj lawm, cov qauv ntawm cov hloov pauv, thiab cov hom phiaj ntawm kev tshuaj xyuas. Kev muab piv tsis zoo tuaj yeem "dag" tus qauv, txo qhov sib txawv, thiab ua rau cov txiaj ntsig zoo li tseeb dua li qhov lawv muaj tiag.
Txoj Kev Poob Cov Ntaub Ntawv
Hauv cov ntaub ntawv suav lej, cov ntaub ntawv uas ploj lawm feem ntau raug muab faib ua peb txoj hauv kev tseem ceeb:
1. MCAR (Poob Tag Nrho Thaum Random): qhov feem pua ntawm cov ntaub ntawv ploj lawm yog ywj pheej ntawm txhua qhov hloov pauv, pom lossis tsis pom. Piv txwv li, daim ntawv nug lus puas tsuaj los ntawm qhov xwm txheej.
2. MAR (Missing At Random): qhov feem pua ntawm cov ntaub ntawv ploj lawm nyob ntawm qhov hloov pauv uas pom, tab sis tsis nyob ntawm tus nqi ploj lawm tom qab tswj hwm lwm cov hloov pauv. Piv txwv li, cov neeg teb cov lus nug hluas feem ntau yuav plam cov lus nug txog nyiaj tau los, tab sis hnub nyoog muaj.
3. MNAR (Tsis Muaj Neeg Poob): Qhov feem pua ntawm cov ntaub ntawv ploj yog nyob ntawm tus nqi uas ploj lawm. Piv txwv li, cov neeg uas muaj nyiaj tau los ntau heev feem ntau tsis qhia lawv cov nyiaj tau los.
Feem ntau kev suav nrog yog qhov muaj kev nyab xeeb dua hauv MCAR/MAR. MNAR feem ntau xav tau tus qauv uas qhia meej txog cov ntaub ntawv uas ploj lawm lossis kev tshuaj xyuas qhov rhiab heev.
Txoj Kev Yooj Yim Rau Kev Them Nqi
1. Kev suav nruab nrab/nruab nrab/hom
Txoj kev yooj yim tshaj plaws yog hloov cov nqi uas ploj lawm nrog qhov nruab nrab lossis nruab nrab rau cov lej hloov pauv, thiab hom rau cov lej hloov pauv categorical. Qhov zoo yog: nws yooj yim, ceev, thiab feem ntau ua haujlwm ua lub hauv paus. Qhov tsis zoo yog: nws tuaj yeem txo qhov sib txawv thiab cuam tshuam cov ntaub ntawv faib tawm, tshwj xeeb tshaj yog tias cov ntaub ntawv tsis sib xws lossis muaj cov outliers. Qhov nruab nrab feem ntau muaj zog dua rau outliers dua li qhov nruab nrab.
2. Kev Hais Lus Tsis Tu Ncua
Cov nqi uas ploj lawm yog sau nrog ib qho tsis hloov pauv tshwj xeeb, xws li 0, -1, lossis daim ntawv lo "Tsis Paub." Qhov no muaj txiaj ntsig thaum tus nqi muaj lub ntsiab lus tshwj xeeb (piv txwv li, "tsis muaj kev lag luam"), lossis thaum tus qauv xav tau muab ib qho cim qhia ntxiv los qhia txog qhov tsis hloov pauv. Txawm li cas los xij, kev xaiv ib qho tsis hloov pauv tuaj yeem ua rau muaj cov qauv cuav.
3. Kev Ua Haujlwm Kub Kub
Hauv lub lawj kub, cov nqi uas ploj lawm raug sau los ntawm kev siv cov nqi los ntawm lwm qhov, "zoo sib xws" kev soj ntsuam (cov neeg pub dawb) raws li ntau qhov tseem ceeb hloov pauv. Txoj kev no nrov hauv kev soj ntsuam. Cov lawj kub tswj cov nqi tiag tiag vim tias lawv ntes cov nqi tiag tiag ntawm cov ntaub ntawv, tab sis cov txiaj ntsig yog rhiab heev rau lub ntsiab lus ntawm "kev zoo sib xws" thiab tuaj yeem tsim cov kev hloov pauv ntawm cov qauv.
Txoj Kev Ntsuas Raws Li Qauv
4. Kev Txheeb Xyuas Rov Qab
Cov nqi uas ploj lawm raug kwv yees siv tus qauv regression uas tau los ntawm lwm cov hloov pauv. Rau cov hloov pauv lej, linear regression tuaj yeem siv; rau cov hloov pauv categorical, logistic lossis multinomial regression tuaj yeem siv. Qhov zoo yog tias nws siv cov kev sib raug zoo ntawm cov hloov pauv. Qhov tsis zoo yog tias siv tsuas yog cov nqi kwv yees deterministic feem ntau yuav txo qhov sib txawv vim tias txhua tus nqi imputed poob raws nraim ntawm kab kwv yees. Txhawm rau daws qhov no, cov khoom sib xyaw random (piv txwv li, cov seem) feem ntau ntxiv rau qhov tseeb dua.
5. k-Cov Neeg Nyob Ze Tshaj Plaws (kNN) Kev Ntsuas
Txoj kev kNN sau cov nqi uas ploj lawm raws li qhov nruab nrab (lossis pov npav) ntawm k cov neeg nyob ze tshaj plaws. Qhov ze feem ntau yog ntsuas los ntawm Euclidean nrug lossis lwm yam metric tom qab cov ntaub ntawv raug normalized. Nws cov txiaj ntsig suav nrog kev ywj pheej thiab kev xav tias tsis muaj kev sib raug zoo linear. Cov tsis zoo suav nrog kev suav kim rau cov ntaub ntawv loj, kev nkag siab rau qhov ntsuas hloov pauv, thiab kev ua haujlwm poob qis ntawm cov ntaub ntawv siab (kev foom ntawm qhov ntev).
6. Kev Cia Siab-Kev Ua Kom Siab Tshaj Plaws (EM)
Txoj kev EM kwv yees cov qauv tsis (piv txwv li, qhov nruab nrab thiab covariance rau ntau cov ntaub ntawv ib txwm muaj) los ntawm kev kho cov nqi uas ploj lawm raws li cov hloov pauv latent. Kauj Ruam E rov ua dua qhov kev cia siab ntawm cov nqi uas ploj lawm raws li cov kev cai tam sim no, thiab tom qab ntawd kauj ruam M hloov kho cov kev cai raws li cov ntaub ntawv "ua tiav". EM muaj zog rau qee qhov kev xav faib tawm, tab sis tuaj yeem nyuaj thiab nyob ntawm qhov tseeb ntawm cov qauv xav.
Kev Ua Txhaum Ntau Yam: Tus Qauv Kub hauv Ntau Qhov Xwm Txheej
7. Kev Txiav Txim Siab Ntau Yam (MI)
Kev suav ntau yam yog suav tias yog ib qho ntawm cov hauv paus ntsiab lus tshaj plaws rau MAR. Hloov chaw tsim ib qho ntaub ntawv tiav, MI tsim ntau cov ntaub ntawv (piv txwv li, 5–20) nrog cov kev suav sib txawv uas qhia txog kev tsis paub tseeb. Txhua cov ntaub ntawv raug tshuaj xyuas sib cais, tom qab ntawd cov txiaj ntsig tau muab tso ua ke siv Rubin cov cai kom tau txais kev kwv yees ntau dua thiab cov qauv yuam kev.
Cov txiaj ntsig ntawm MI:
- Ua kom muaj kev tsis ntseeg siab ntawm kev hais lus.
- Muaj tseeb dua rau kev xam lej suav (kev ntseeg siab, kev sim cov lus piv txwv).
- Flexible rau ntau hom kev hloov pauv.
Nws cov kev txwv:
- Kev siv ntau yam nyuaj dua.
- Yuav tsum muaj cov kev xav thiab cov lus qhia txaus ntawm tus qauv imputation.
– Yog tias MNAR tsis muaj dab tsi, tus qauv MI tseem tuaj yeem ua rau muaj kev ntxub ntxaug.
Kev suav rau Cov Ntaub Ntawv Teev Sijhawm thiab Qhov Chaw
Hauv cov ntaub ntawv teev sijhawm, cov nqi uas ploj lawm feem ntau muaj feem cuam tshuam nrog lawv cov nqi ua ntej thiab tom qab. Cov txheej txheem xws li kev sib txuas lus linear, splines, Kalman lim dej, lossis ARIMA / State Space qauv feem ntau siv. Rau cov ntaub ntawv spatial, cov txheej txheem xws li kriging thiab spatial qauv tuaj yeem siv qhov sib ze ntawm thaj chaw. Cov txheej txheem no muaj txiaj ntsig zoo thaum lub sijhawm / spatial qauv yog qhov tseem ceeb, tab sis yuav tsum ceev faj tiv thaiv kev hloov pauv sai (piv txwv li, kev poob siab ntawm kev lag luam) uas tuaj yeem ua rau kev sib txuas lus yooj yim yuam kev.
Cov Kev Xyaum Zoo hauv Kev Xaiv Cov Txheej Txheem Kev Hais Lus
1. Tshawb nrhiav cov ntaub ntawv uas ploj lawm: xyuas seb feem pua ntawm cov nqi uas ploj lawm, tus qauv ntawm qhov uas ploj lawm, thiab seb qhov uas ploj lawm puas muaj feem cuam tshuam nrog ib qho hloov pauv tshwj xeeb.
2. Cais cov ntaub ntawv kev cob qhia thiab kev xeem: ua qhov kev suav los ntawm "kev kawm" los ntawm cov ntaub ntawv kev cob qhia xwb, tom qab ntawd siv rau cov ntaub ntawv xeem kom tsis txhob muaj cov ntaub ntawv xau.
3. Xav txog hom variable: numeric, categorical, ordinal, lossis mixed; txoj kev tsim nyog txawv.
4. Siv cov cim qhia tias tsis muaj dab tsi: qee zaum cov ntaub ntawv uas qhia tias tus nqi tsis muaj dab tsi yog qhov kwv yees tau; kev ntxiv cov cim qhia hloov pauv tuaj yeem txhim kho kev ua tau zoo ntawm tus qauv kwv yees.
5. Soj ntsuam qhov cuam tshuam ntawm kev suav lej: piv cov kev faib tawm ua ntej/tom qab suav lej, xyuas seb qhov sib txawv puas tau txo qis, thiab lees paub tus qauv.
6. Muab qhov tseem ceeb rau MI rau kev xaus lus: thaum lub hom phiaj ntawm kev tshuaj xyuas yog kev kwv yees cov txheej txheem thiab kev sim lej, kev muab ntau qhov kev suav feem ntau yog qhov tsim nyog dua li kev muab ib qho kev suav.
Xaus
Kev suav lej yog ib qho tseem ceeb ntawm cov txheej txheem niaj hnub no rau kev tswj cov ntaub ntawv uas ploj lawm. Cov txheej txheem yooj yim xws li qhov nruab nrab / nruab nrab tuaj yeem pab tau ua tus qauv lossis rau qhov tsis muaj me me, tab sis feem ntau ua rau cov qauv ntaub ntawv thiab kev tsis paub meej. Cov txheej txheem raws li qauv xws li regression, kNN, thiab EM siv kev sib raug zoo ntawm cov hloov pauv, thaum Multiple Imputation muab lub moj khaum ruaj khov rau kev xam los ntawm kev suav txog qhov tsis paub meej. Kev xaiv ntawm txoj kev zoo tshaj plaws nyob ntawm cov txheej txheem ntaub ntawv uas ploj lawm (MCAR / MAR / MNAR), lub hom phiaj kev tshuaj xyuas (kev kwv yees vs. kev xam), thiab cov yam ntxwv ntawm cov ntaub ntawv (lub sijhawm series, spatial, sib xyaw). Nrog txoj hauv kev zoo, kev suav lej pab tswj kev ncaj ncees ntawm kev tshuaj xyuas thiab ua rau muaj cov lus xaus txhim khu kev qha dua.
