Hanyoyin Lissafi a Kididdiga
A cikin aikin kididdiga da nazarin bayanai, matsalar rashin bayanai kusan koyaushe tana tasowa. Bayanai na iya ɓacewa saboda rashin amsa wasu tambayoyi, kurakuran rikodi, tsangwama daga firikwensin, cin hanci da rashawa yayin cire bayanai, ko kuma saboda tsarin haɗa hanyoyin bayanai da yawa waɗanda ba su dace ba. Idan ba a kula da su yadda ya kamata ba, ɓacewar bayanai na iya lalata ingancin binciken , rage ƙarfin gwajin, har ma da haifar da yanke shawara mara tushe. Ɗaya daga cikin hanyoyin da aka fi amfani da su wajen sarrafa bayanan da suka ɓace shine ƙididdigewa, wanda ya haɗa da cike ƙimar da ta ɓace da ƙimar da aka kiyasta bisa ga bayanan da ake da su.
Me yasa Impact yake da mahimmanci?
Akwai dalilai da yawa da yasa ake yawan zaɓar ƙididdige bayanai maimakon kawai share bayanan da suka ɓace. Na farko, share layuka/bayanan da ke ɗauke da ƙimar da ta ɓace (misali, share bayanai ta hanyar jeri) na iya rage girman samfurin sosai, musamman lokacin da kashi na bayanan da suka ɓace yana da mahimmanci. Na biyu, idan bayanan ba su ɓace ba a bazata, gogewa na iya haifar da son zuciya. Na uku, yawancin algorithms na ilimin kididdiga ko na'ura suna buƙatar cikakken bayanai , wanda hakan ke sa ƙididdige bayanai ya zama matakin da ya dace kafin a sarrafa su.
Duk da haka, ƙididdigewa ba wai kawai game da "cike gibin ba ne." Hanyar da aka zaɓa dole ne ta yi la'akari da tsarin bayanai da suka ɓace, tsarin masu canji, da kuma manufofin nazarin. Rashin ƙididdigewa na iya "yaudarar" samfurin, rage bambancin, da kuma sa sakamakon ya bayyana ya fi tabbas fiye da yadda yake a zahiri.
Tsarin Bayanan da aka rasa
A cikin wallafe-wallafen kididdiga, bayanai da suka ɓace galibi ana rarraba su zuwa manyan hanyoyi guda uku:
1. MCAR (Bacewa Gabaɗaya A Rangwame): yuwuwar ɓacewar bayanai ba ta dogara da duk wani canji ba, ko an lura ko ba a lura da shi ba. Misali, tambayoyin da suka lalace sakamakon haɗari.
2. MAR (Rashin Zuwa Bazuwar): yuwuwar ɓacewar bayanai ya dogara ne akan canjin da aka lura, amma ba ya dogara ne akan ƙimar da ta ɓace bayan an sarrafa wasu masu canji ba. Misali, matasa masu amsawa sun fi fuskantar haɗarin rasa tambayoyin samun kuɗi, amma akwai shekaru.
3. MNAR (Ba a Rasa Ba a Zato): Yiwuwar rasa bayanai ya dogara ne da ƙimar da ta ɓace. Misali, mutanen da ke da yawan kuɗin shiga ba sa bayyana kuɗin shigarsu.
Galibi ana amfani da ƙididdigewa a ƙarƙashin MCAR/MAR. Sau da yawa MNAR tana buƙatar samfurin da ke bayyana bayanan da suka ɓace ko kuma nazarin yanayin ji.
Hanyar Lissafi Mai Sauƙi
1. Ma'ana/Matsakaicin/Yanayi
Hanya mafi sauƙi ita ce a maye gurbin ƙimar da ta ɓace da matsakaicin ko matsakaiciyar ma'aunin lambobi, da kuma yanayin ma'aunin rarrabuwa. Fa'idodin su ne: yana da sauƙi, sauri, kuma sau da yawa yana aiki a matsayin tushe. Rashin amfani da shi shine: yana iya rage bambancin kuma ya ɓata rarraba bayanai, musamman idan bayanan ba su da daidaito ko kuma sun ƙunshi abubuwan da ba su dace ba. Matsakaicin ya fi ƙarfi idan aka kwatanta da matsakaicin tsayin daka..
2. Ƙididdigewa Mai Dorewa
Ana cika ƙimomin da suka ɓace da takamaiman ma'auni, kamar 0, -1, ko lakabin "Ba a sani ba." Wannan yana da amfani lokacin da ƙimar ke da takamaiman ma'ana (misali, "babu ciniki"), ko lokacin da samfurin ke buƙatar a ba shi ƙarin alama don nuna ɓacewa. Duk da haka, zaɓar madaidaicin tsari na iya gabatar da alamu marasa tushe.
3. Ƙirƙirar Hot Deck
A cikin babban faifai, ana cike ƙimomin da suka ɓace ta amfani da ƙimomin da aka samu daga wasu, "masu kama" lura (masu bayarwa) bisa ga maɓallan da yawa. Wannan hanyar ta shahara a cikin bincike. Manyan faifai suna riƙe ƙimomin gaske saboda suna kama ainihin ƙimar bayanan, amma sakamakon yana da alaƙa da ma'anar "kamance" kuma yana iya haifar da bambancin tsakanin samfura.
Hanyar Lissafi Mai Tushen Samfuri
4. Lissafin koma-baya
Ana hasashen ƙimar da ta ɓace ta amfani da samfurin komawa baya na wasu masu canji. Don masu canji na lambobi, ana iya amfani da komawa layi; don masu canji na rukuni, ana iya amfani da shi. koma-baya a fannin dabaru ko multinomial. Riba: yana amfani da alaƙar da ke tsakanin masu canji. Rashin amfani: amfani da ƙimar da aka annabta kawai yana rage bambancin saboda duk ƙimar da aka lissafta suna faɗuwa daidai akan layin da aka annabta. Don magance wannan, galibi ana ƙara abubuwan da bazuwar (misali, ragowar) don ƙarin gaskiya.
5. K-Maƙwabta Mafi Kusa (kNN) Impact
Hanyar kNN tana cike ƙimomin da suka ɓace bisa ga matsakaicin (ko ƙuri'a) na maƙwabta mafi kusa da k. Yawanci ana auna kusanci ta hanyar nisan Euclidean ko wani ma'auni bayan an daidaita bayanan. Fa'idodinsa sun haɗa da sassauci da kuma ɗaukar cewa babu dangantaka mai layi. Rashin amfani sun haɗa da tsadar lissafi ga manyan bayanai, sauƙin fahimta ga ma'aunin canzawa, da kuma raguwar aiki akan manyan bayanai (la'anar girma).
6. Tsammani-Haɓaka Tsammani (EM)
Hanyar EM tana kimanta sigogin samfuri (misali, matsakaici da daidaitawa ga bayanai na yau da kullun masu canzawa iri-iri) ta hanyar ɗaukar ƙimar da ta ɓace a matsayin masu canji a ɓoye. Mataki na E yana ƙididdige tsammanin ƙimar da ta ɓace akai-akai bisa ga sigogi na yanzu, sannan mataki na M yana sabunta sigogi bisa ga bayanan "cikakke" da ake tsammani. EM yana da ƙarfi ga wasu zato na rarrabawa, amma yana iya zama mai rikitarwa kuma ya dogara da daidaiton zato na samfurin.
Ƙididdiga Mai Yawa: Ma'aunin Zinare a Lokuta Da Yawa
7. Ƙirƙirar Bayanai Mai Yawa (MI)
Ana ɗaukar Multiple Impact a matsayin ɗaya daga cikin hanyoyin da suka fi dacewa da MAR. Maimakon samar da cikakken bayanai guda ɗaya, MI yana samar da bayanai da yawa (misali, 5-20) tare da ƙididdiga daban-daban waɗanda ke nuna rashin tabbas. Ana nazarin kowane bayanai daban-daban, sannan a haɗa sakamakon ta amfani da ƙa'idodin Rubin don samun ƙarin ƙididdiga masu inganci da kurakurai na yau da kullun.
Fa'idodin MI:
– Yana daidaita rashin tabbas na ƙididdigewa.
- Mafi daidaito ga ƙididdigar ƙididdiga (tazara amincewa, gwajin hasashe).
- Mai sassauƙa ga nau'ikan masu canji daban-daban.
Iyakokinsa:
– Aiwatarwa mai rikitarwa.
- Yana buƙatar isassun zato da ƙayyadaddun samfurin ƙididdigewa.
– Idan akwai rashin daidaito a cikin MNAR, MI na yau da kullun na iya zama mai son zuciya.
Lissafi don Jerin Lokaci da Bayanan Sarari
A cikin bayanan jerin lokaci, ƙimomin da suka ɓace galibi suna da alaƙa sosai da ƙimar da suka gabata da ta gaba. Sau da yawa ana amfani da hanyoyi kamar layin haɗin kai, splines, matattarar Kalman, ko samfuran ARIMA/Sta Space. Don bayanan sarari, hanyoyin kamar kriging da samfuran sarari na iya amfani da kusancin yanki. Waɗannan hanyoyin suna da tasiri lokacin da tsarin lokaci/sarari ya mamaye, amma dole ne a yi taka tsantsan game da canje-canje kwatsam (misali, girgizar tattalin arziki) waɗanda za su iya sa haɗin kai ya zama mai ruɗani.
Kyawawan Dabi'u Wajen Zaɓar Hanyoyin Lissafi
1. Gudanar da binciken bayanai da suka ɓace: duba kashi na ƙimar da ta ɓace, tsarin ɓacewar, da kuma ko ɓacewar tana da alaƙa da wani takamaiman canji.
2. Raba bayanai na horo da gwaji: yi amfani da lissafi ta hanyar "koyo" daga bayanan horo kawai, sannan a yi amfani da shi a bayanan gwaji don guje wa zubar bayanai.
3. Yi la'akari da nau'in mai canzawa: lamba, rukuni, tsari, ko gauraye; hanyar da ta dace ta bambanta.
4. Yi amfani da alamun ɓacewa: wani lokacin bayanin da ke nuna cewa ƙima ta ɓace kanta tana yin hasashen; ƙara masu canjin alamomi na iya inganta aikin samfurin hasashen.
5. Kimanta tasirin ƙididdigewa: kwatanta rarrabawar kafin/bayan ƙididdigewa, duba ko bambancin ya ragu, sannan a tabbatar da samfurin.
6. Ba da fifiko ga MI don fahimta: idan manufar nazarin ita ce kimanta sigogi da gwajin ƙididdiga, ƙididdigewa da yawa sau da yawa ya fi dacewa fiye da ƙididdigewa ɗaya.
Kammalawa
Lissafi muhimmin bangare ne na ayyukan kididdiga na zamani don sarrafa bayanan da suka ɓace. Hanyoyi masu sauƙi kamar matsakaici/tsakiya na iya zama da amfani a matsayin tushe ko ga ƙananan kurakurai, amma galibi suna lalata tsarin bayanai da rashin tabbas. Hanyoyi masu tushen samfuri kamar komawa baya, kNN, da EM suna amfani da alaƙa tsakanin masu canji, yayin da Ƙididdiga Mai Yawa ke ba da tsari mai ƙarfi don ƙididdigewa ta hanyar lissafin rashin tabbas. Zaɓin mafi kyawun hanya ya dogara da tsarin bayanai da suka ɓace (MCAR/MAR/MNAR), manufar bincike (hasashe vs. ƙaddara), da halayen bayanan (jerin lokaci, sarari, gauraye). Tare da hanyar da ta dace, ƙididdigewa yana taimakawa wajen kiyaye sahihancin nazarin kuma yana samar da sakamako mafi inganci.
