Njira Zowerengera mu Ziwerengero
Mu machitidwe a ziwerengero ndi kusanthula deta, vuto la kusowa kwa deta nthawi zambiri limabwera. Deta ikhoza kusowa chifukwa cha omwe akuyankha kusayankha mafunso ena, kulemba zolakwika, kusokoneza kwa masensa, kuwonongeka kwa deta panthawi yochotsa, kapena chifukwa cha njira yophatikiza magwero angapo a deta omwe sagwirizana mokwanira. Ngati sagwiritsidwa ntchito bwino, kusowa kwa deta kungawononge ubwino wa kusanthula , kuchepetsa mphamvu ya mayeso, komanso kutsogolera ku ziganizo zokondera. Njira imodzi yodziwika bwino yogwiritsira ntchito deta yosowa ndi kuwerengera, komwe kumaphatikizapo kudzaza mitengo yosowa ndi mitengo yoyerekeza kutengera zomwe zilipo.
N’chifukwa chiyani Kupereka Mphatso N’kofunika?
Pali zifukwa zingapo zomwe nthawi zambiri kufotokozera kumasankhidwa m'malo mongochotsa deta yomwe yasowa. Choyamba, kuchotsa mizere/zowonera zomwe zili ndi ma values omwe akusowa (monga kuchotsera mndandanda) kungachepetse kwambiri kukula kwa zitsanzo, makamaka pamene kuchuluka kwa deta yomwe yasowa kuli kofunikira. Chachiwiri, ngati detayo sikusowa mwachisawawa, kuchotsera kungayambitse tsankho. Chachitatu, ma algorithms ambiri owerengera kapena ophunzirira makina amafunikira deta yonse , zomwe zimapangitsa kuti kufotokozerako kukhale njira yosavuta yokonzekera.
Komabe, kuyika deta sikutanthauza kungodzaza mipata. Njira yosankhidwa iyenera kuganizira njira yosoweka deta, kapangidwe ka zosintha, ndi zolinga za kusanthula. Kuyika deta molakwika kungathe "kupusitsa" chitsanzo, kuchepetsa kusiyana, ndikupangitsa zotsatira kuwoneka zotsimikizika kuposa momwe zilili.
Njira Yotayika ya Deta
Mu mabuku owerengera, deta yosowa nthawi zambiri imagawidwa m'magulu atatu akuluakulu:
1. MCAR (Yosowa Kotheratu Mwachisawawa): kuthekera kwa kusowa kwa deta sikudalira zosintha zilizonse, zomwe zawonedwa kapena zomwe sizinawonedwe. Mwachitsanzo, mafunso ofunsidwa omwe awonongeka ndi ngozi.
2. MAR (Kusowa Mwachisawawa): kuthekera kwa kusowa kwa deta kumadalira kusintha komwe kwawonedwa, koma sikudalira mtengo wosowa wokha mutayang'anira zosintha zina. Mwachitsanzo, achinyamata omwe adayankha nthawi zambiri amaphonya mafunso okhudza ndalama, koma zaka zilipo.
3. MNAR (Kusowa Mwachisawawa): Kuthekera kwa kusowa kwa deta kumadalira mtengo wosowawo. Mwachitsanzo, anthu omwe ali ndi ndalama zambiri safuna kuulula ndalama zawo.
Kuyika deta nthawi zambiri kumakhala kotetezeka pansi pa MCAR/MAR. MNAR nthawi zambiri imafuna chitsanzo chomwe chimafotokoza momveka bwino za deta yomwe ikusowa kapena kusanthula kwa kukhudzidwa.
Njira Yosavuta Yoperekera
1. Kuchuluka kwa Pakati/Pakati/Mode
Njira yosavuta ndiyo kusintha ma values omwe akusowa ndi apakati kapena apakati pa ma variable a manambala, ndi mawonekedwe a ma variable a magulu. Ubwino wake ndi: ndi wosavuta, wachangu, ndipo nthawi zambiri umakhala ngati maziko. Zoyipa zake ndi izi: zimatha kuchepetsa kusiyana ndikusokoneza kugawa deta, makamaka ngati detayo ndi yosagwirizana kapena ili ndi zinthu zina zosiyana. Wapakati nthawi zambiri amakhala wolimba kwambiri motsutsana ndi zinthu zopanda pake kuposa wapakati..
2. Kusasinthika kwa Nthawi Zonse
Ma values omwe akusowa amadzazidwa ndi chinthu chokhazikika, monga 0, -1, kapena chizindikiro "Chosadziwika." Izi ndizothandiza pamene mtengo uli ndi tanthauzo linalake (monga, "palibe transaction"), kapena pamene chitsanzocho chikufunika kupatsidwa chizindikiro china kuti chiwonetse kuperewera. Komabe, kusankha chinthu chokhazikika mosasamala kanthu kungayambitse mapangidwe olakwika.
3. Hot Deck Imputation
Mu hot deck, ma values omwe akusowa amadzazidwa pogwiritsa ntchito ma values ochokera kuzinthu zina "zofanana" (opereka) kutengera zinthu zingapo zofunika. Njirayi ndi yotchuka mu kafukufuku. Ma hot deck amasunga ma values enieni chifukwa amajambula ma values enieni a deta, koma zotsatira zake zimakhala zogwirizana ndi tanthauzo la "kufanana" ndipo zimatha kupanga kusiyana pakati pa zitsanzo.
Njira Yoperekera Zinthu Pogwiritsa Ntchito Chitsanzo
4. Kusasinthika kwa Kusasinthika
Ma values omwe akusowa amaloseredwa pogwiritsa ntchito chitsanzo cha regression cha ma variable ena. Pa ma variable a manambala, linear regression ingagwiritsidwe ntchito; pa ma variable a magulu, ingagwiritsidwe ntchito. kusintha kwa kayendedwe ka zinthu kapena multinomial. Ubwino: imagwiritsa ntchito ubale womwe ulipo pakati pa zinthu zosinthika. Choyipa: kugwiritsa ntchito zinthu zotsimikizika zokha zomwe zanenedweratu kumachepetsa kusiyana chifukwa zinthu zonse zomwe zanenedweratu zimagwera pamzere wolosera. Pofuna kuthana ndi izi, gawo losasinthika (monga zotsalira) nthawi zambiri limawonjezedwa kuti likhale loona bwino.
5. k-Malo Oyandikana Nawo (kNN)
Njira ya kNN imadzaza miyeso yosowa kutengera avareji (kapena kuvota) kwa anansi apafupi a k. Kuyandikira nthawi zambiri kumayesedwa ndi mtunda wa Euclidean kapena metric ina deta itatha kusinthidwa. Ubwino wake umaphatikizapo kusinthasintha ndi kuganiza kuti palibe ubale wolunjika. Zoyipa zake ndi monga kukwera mtengo kwa ma data akuluakulu, kukhudzidwa ndi kuchuluka kosiyanasiyana, komanso kuwonongeka kwa magwiridwe antchito pa data yapamwamba (temberero la kukula).
6. Kuyembekezera-Kukulitsa (EM)
Njira ya EM imawerengera magawo a chitsanzo (monga, apakati ndi covariance ya deta yachizolowezi ya multivariate) poona ma values osowa ngati ma variables obisika. Gawo E limawerengera mobwerezabwereza chiyembekezo cha ma values osowa kutengera ma parameter apano, kenako gawo M limasintha ma parameter kutengera deta "yathunthu" yomwe ikuyembekezeka. EM ndi yolimba ku malingaliro ena ogawa, koma ikhoza kukhala yovuta ndipo imadalira kulondola kwa malingaliro a chitsanzo.
Kupereka Zambiri: Muyezo Wagolide Nthawi Zambiri
7. Kuchuluka kwa Kupereka (MI)
Kusanthula kwa Multiple Imputation kumaonedwa kuti ndi njira imodzi yodziwika bwino kwambiri yogwiritsira ntchito MAR. M'malo mopanga deta imodzi yonse, MI imapanga deta yambiri (monga 5-20) yokhala ndi zizindikiro zosiyanasiyana zomwe zimasonyeza kusatsimikizika. Dataset iliyonse imasanthulidwa padera, kenako zotsatira zake zimaphatikizidwa pogwiritsa ntchito malamulo a Rubin kuti apeze ziwerengero zomveka bwino komanso zolakwika zokhazikika.
Ubwino wa MI:
- Zimathandiza kuthetsa kusatsimikizika kwa zomwe zikunenedwa.
- Zolondola kwambiri pa ziwerengero (zizindikiro zodalirika, kuyesa kwa malingaliro).
- Yosinthasintha pa mitundu yosiyanasiyana ya zosintha.
Zofooka zake:
- Kukhazikitsa kovuta kwambiri.
- Zimafuna malingaliro oyenera ndi mafotokozedwe a chitsanzo cha imputation.
- Ngati pali vuto mu MNAR, MI yokhazikika ikhoza kukhala yolakwika.
Kuwerengera kwa Mndandanda wa Nthawi ndi Deta ya Malo
Mu deta ya nthawi, ma values omwe akusowa nthawi zambiri amagwirizanitsidwa kwambiri ndi ma values omwe adalipo kale komanso omwe adalipo. Njira monga linear interpolation, splines, Kalman filters, kapena ARIMA/State Space models nthawi zambiri zimagwiritsidwa ntchito. Pa deta ya malo, njira monga kriging ndi ma spatial models zingagwiritse ntchito kuyandikira kwa malo. Njirazi ndizothandiza pamene kapangidwe ka nthawi/malo kakulamulira, koma kusamala kuyenera kuchitika motsutsana ndi kusintha kwadzidzidzi (monga kugwedezeka kwachuma) komwe kungapangitse kuti interpolation yosavuta isokonezeke.
Makhalidwe Abwino Posankha Njira Zoperekera Zinthu
1. Chitani kafukufuku wa deta yomwe yasowa: yang'anani kuchuluka kwa ma values omwe akusowa, momwe akusowa, komanso ngati kusowako kukugwirizana ndi chosinthika china chake.
2. Lekanitsani deta yophunzitsira ndi yoyesera: perekani mfundo mwa "kuphunzira" kuchokera ku deta yophunzitsira yokha, kenako igwiritseni ntchito ku deta yoyesera kuti deta isatayike.
3. Ganizirani mtundu wosinthika: manambala, magulu, ordinal, kapena osakaniza; njira yoyenera imasiyana.
4. Gwiritsani ntchito zizindikiro zosoweka: nthawi zina chidziwitso chakuti mtengo ukusowa chimakhala cholosera; kuwonjezera zizindikiro zosinthira kungathandize kuti chitsanzo cholosera chigwire ntchito bwino.
5. Unikani momwe kuperekedwa kwa zinthu kukuyendera: yerekezerani kugawa kwa zinthu musanayambe/mutatha kuperekedwa, onani ngati kusiyana kwa zinthu kwachepa, ndikutsimikizira chitsanzocho.
6. Ikani patsogolo MI kuti muganizire: pamene cholinga cha kusanthula ndi kuyerekezera magawo ndi kuyesa ziwerengero, kuyerekezera kangapo nthawi zambiri kumakhala koyenera kuposa kuyerekezera kamodzi.
Mapeto
Kupereka deta ndi gawo lofunika kwambiri pa njira zamakono zowerengera deta zomwe zikusowa. Njira zosavuta monga mean/median zitha kukhala zothandiza ngati maziko kapena zoperewera zazing'ono, koma nthawi zambiri zimasokoneza kapangidwe ka deta ndi kusatsimikizika. Njira zochokera ku chitsanzo monga regression, kNN, ndi EM zimagwiritsa ntchito ubale pakati pa zosintha, pomwe Multiple Imputation imapereka chimango cholimba cha kutsimikizira komwe kumawerengera kusatsimikizika. Kusankha njira yabwino kwambiri kumadalira njira yosoweka deta (MCAR/MAR/MNAR), cholinga chosanthula (kulosera vs. kutsimikizira), ndi makhalidwe a deta (nthawi, malo, osakanikirana). Ndi njira yoyenera, kupereka deta kumathandiza kusunga umphumphu wa kusanthula ndikupereka ziganizo zodalirika kwambiri.
