Mbinu za Kuingiza Takwimu
Katika mazoezi ya takwimu na uchambuzi wa data, tatizo la data inayokosekana karibu kila mara hutokea. Data inaweza kukosekana kutokana na wahojiwa kutojibu maswali fulani, makosa ya kurekodi, kuingiliwa kwa sensa, ufisadi wa data wakati wa uchimbaji, au kutokana na mchakato wa kuchanganya vyanzo vingi vya data ambavyo havilingani kikamilifu. Ikiwa havitashughulikiwa ipasavyo, data inayokosekana inaweza kuharibu ubora wa uchambuzi , kupunguza nguvu ya jaribio, na hata kusababisha hitimisho zenye upendeleo. Mojawapo ya mbinu za kawaida za kushughulikia data inayokosekana ni kuhesabu, ambayo inahusisha kujaza thamani zinazokosekana na thamani zinazokadiriwa kulingana na taarifa zilizopo.
Kwa Nini Kutotoa Ushuru ni Muhimu?
Kuna sababu kadhaa kwa nini uwekaji data mara nyingi huchaguliwa badala ya kufuta data inayokosekana. Kwanza, kufuta safu/uchunguzi zenye thamani zinazokosekana (k.m., ufutaji wa orodha) kunaweza kupunguza sana ukubwa wa sampuli, hasa wakati asilimia ya data inayokosekana ni muhimu. Pili, ikiwa data haikoseki bila mpangilio, ufutaji unaweza kusababisha upendeleo. Tatu, algoriti nyingi za takwimu au za kujifunza kwa mashine zinahitaji data kamili , na kufanya uwekaji data kuwa hatua rahisi ya utayarishaji.
Hata hivyo, uwasilishaji si tu kuhusu "kujaza mapengo." Mbinu iliyochaguliwa lazima izingatie utaratibu wa data unaokosekana, muundo wa vigezo, na malengo ya uchambuzi. Uwasilishaji duni unaweza "kudanganya" modeli, kupunguza tofauti, na kufanya matokeo yaonekane kuwa ya uhakika zaidi kuliko yalivyo.
Utaratibu wa Data Iliyopotea
Katika fasihi ya takwimu, data inayokosekana kwa kawaida hugawanywa katika mifumo mitatu mikuu:
1. MCAR (Haikosekana Kabisa Kwa Nasibu): uwezekano wa data kukosa hautegemei vigezo vyovyote, vilivyoonekana au visivyoonekana. Kwa mfano, dodoso lililoharibiwa na ajali.
2. MAR (Haikosekana kwa Nasibu): uwezekano wa data kukosa unategemea kigezo kilichoonekana, lakini hautegemei thamani yenyewe inayokosekana baada ya kudhibiti vigezo vingine. Kwa mfano, vijana waliohojiwa wana uwezekano mkubwa wa kukosa maswali ya mapato, lakini umri unapatikana.
3. MNAR (Haikoseki Bila Kupangiliwa): Uwezekano wa data kukosa unategemea thamani yenyewe inayokosekana. Kwa mfano, watu wenye kipato cha juu sana huwa hawafichui mapato yao.
Uingizaji data kwa ujumla ni salama zaidi chini ya MCAR/MAR. MNAR mara nyingi huhitaji mfumo unaoelezea waziwazi data inayokosekana au uchambuzi wa unyeti.
Mbinu Rahisi ya Kuingiza
1. Kiwango cha wastani/wastani/hali
Njia rahisi zaidi ni kubadilisha thamani zinazokosekana na wastani au wastani wa vigezo vya nambari, na hali ya vigezo vya kategoria. Faida ni: ni rahisi, haraka, na mara nyingi hutumika kama msingi. Hasara ni: inaweza kupunguza tofauti na kupotosha usambazaji wa data, haswa ikiwa data haina ulinganifu au ina vitu vya nje. Wastani kwa kawaida huwa imara zaidi dhidi ya wa nje kuliko wastani..
2. Kushutumiwa Mara kwa Mara
Thamani zinazokosekana hujazwa na kigezo maalum, kama vile 0, -1, au lebo "Haijulikani." Hii ni muhimu wakati thamani ina maana maalum (k.m., "hakuna muamala"), au wakati modeli inahitaji kupewa kiashiria cha ziada ili kuangazia upungufu. Hata hivyo, kuchagua kigezo kisicho cha kawaida kunaweza kuanzisha ruwaza za uongo.
3. Uingizaji wa Deki ya Moto
Katika sehemu ya kutolea taarifa za data, thamani zinazokosekana hujazwa kwa kutumia thamani kutoka kwa uchunguzi mwingine "unaofanana" (wafadhili) kulingana na vigezo kadhaa muhimu. Njia hii ni maarufu katika tafiti. Sehemu za kutolea taarifa za data ...
Mbinu ya Kuingiza Kulingana na Mfano
4. Upungufu wa Urejeshaji
Thamani zinazokosekana hutabiriwa kwa kutumia modeli ya urejeshaji wa vigezo vingine. Kwa vigezo vya nambari, urejeshaji wa mstari unaweza kutumika; kwa vigezo vya kategoria, vinaweza kutumika. urejelezaji wa vifaa au multinomial. Faida: hutumia uhusiano kati ya vigezo. Hasara: kutumia thamani zilizotabiriwa zenye uhakika pekee hupunguza tofauti kwa sababu thamani zote zilizohesabiwa zinaangukia kwenye mstari uliotabiriwa. Ili kushughulikia hili, vipengele nasibu (k.m., mabaki) mara nyingi huongezwa kwa uhalisia mkubwa.
5. k-Jirani wa Karibu Zaidi (kNN)
Mbinu ya kNN hujaza thamani zinazokosekana kulingana na wastani (au upigaji kura) wa majirani wa k walio karibu zaidi. Ukaribu kwa kawaida hupimwa kwa umbali wa Euclidean au kipimo kingine baada ya data kurekebishwa. Faida zake ni pamoja na kunyumbulika na dhana ya kutokuwa na uhusiano wa mstari. Hasara ni pamoja na gharama kubwa ya kihesabu kwa seti kubwa za data, unyeti kwa kiwango kinachobadilika, na uharibifu wa utendaji kwenye data ya vipimo vya juu (laana ya vipimo).
6. Matarajio-Upeo (EM)
Mbinu ya EM hukadiria vigezo vya modeli (k.m., wastani na utofautishaji wa data ya kawaida ya multivariate) kwa kutibu thamani zinazokosekana kama vigezo fiche. Hatua ya E huhesabu kwa kurudia matarajio ya thamani zinazokosekana kulingana na vigezo vya sasa, na kisha hatua ya M husasisha vigezo kulingana na data "kamili" inayotarajiwa. EM ni thabiti kwa dhana fulani za usambazaji, lakini inaweza kuwa changamano na inategemea usahihi wa dhana za modeli.
Ushawishi Mwingi: Kiwango cha Dhahabu katika Visa Vingi
7. Uingizaji wa Vipimo Vingi (MI)
Uchanganuzi wa Vipimo Vingi unachukuliwa kuwa mojawapo ya mbinu zenye kanuni zaidi za MAR. Badala ya kutoa seti moja kamili ya data, MI hutoa seti nyingi za data (k.m., 5–20) zenye uchanganuzi tofauti unaoakisi kutokuwa na uhakika. Kila seti ya data huchambuliwa kando, kisha matokeo huunganishwa kwa kutumia sheria za Rubin ili kupata makadirio halali zaidi na makosa ya kawaida.
Faida za MI:
- Hushughulikia kutokuwa na uhakika wa kukisia.
- Sahihi zaidi kwa hitimisho la takwimu (vipindi vya kujiamini, upimaji wa nadharia).
- Inabadilika kwa aina mbalimbali za vigeu.
Mapungufu yake:
- Utekelezaji mgumu zaidi.
- Inahitaji mawazo ya kutosha na vipimo vya mfano wa kukisia.
– Ikiwa kuna upungufu katika MNAR, MI ya kawaida bado inaweza kuwa na upendeleo.
Uchanganuzi wa Mfululizo wa Wakati na Data ya Anga
Katika data ya mfululizo wa muda, thamani zinazokosekana mara nyingi huhusiana sana na thamani zao zilizotangulia na zinazofuata. Mbinu kama vile uingiliaji kati wa mstari, splines, vichujio vya Kalman, au modeli za ARIMA/State Space mara nyingi hutumika. Kwa data ya anga, mbinu kama vile kriging na modeli za anga zinaweza kutumia ukaribu wa kijiografia. Mbinu hizi zinafaa wakati muundo wa muda/anga unatawala, lakini tahadhari lazima ichukuliwe dhidi ya mabadiliko ya ghafla (k.m., mshtuko wa kiuchumi) ambayo yanaweza kufanya uingiliaji kati rahisi kupotosha.
Mbinu Nzuri katika Kuchagua Mbinu za Kuingiza
1. Fanya uchunguzi wa data unaokosekana: angalia asilimia ya thamani zinazokosekana, muundo wa kutokuwepo, na kama kutokuwepo kunahusiana na kigezo fulani.
2. Tenganisha data ya mafunzo na majaribio: fanya uwasilishaji kwa "kujifunza" kutoka kwa data ya mafunzo pekee, kisha uitumie kwenye data ya majaribio ili kuepuka uvujaji wa data.
3. Fikiria aina ya kigezo: nambari, kategoria, ordinal, au mchanganyiko; mbinu inayofaa hutofautiana.
4. Tumia viashiria vya kukosa: wakati mwingine taarifa kwamba thamani inakosekana yenyewe ni ya kutabiri; kuongeza vigeu vya kiashiria kunaweza kuboresha utendaji wa modeli ya utabiri.
5. Tathmini athari ya uwasilishaji: linganisha usambazaji kabla/baada ya uwasilishaji, angalia kama tofauti imepungua, na uthibitishe modeli.
6. Weka kipaumbele MI kwa ajili ya hitimisho: wakati lengo la uchambuzi ni makadirio ya vigezo na upimaji wa takwimu, uainishaji mara nyingi mara nyingi unafaa zaidi kuliko uainishaji mmoja.
Hitimisho
Uingizaji data ni sehemu muhimu ya mtiririko wa kazi wa kisasa wa takwimu kwa ajili ya kushughulikia data inayokosekana. Mbinu rahisi kama wastani/wastani zinaweza kuwa muhimu kama msingi au kwa upungufu mdogo, lakini mara nyingi huathiri muundo wa data na kutokuwa na uhakika. Mbinu zinazotegemea modeli kama vile urejeshaji data, kNN, na EM hutumia uhusiano kati ya vigezo, huku Uingizaji Data Mwingi ukitoa mfumo imara wa uhitimisho kwa kuhesabu kutokuwa na uhakika. Chaguo la njia bora hutegemea utaratibu wa data unaokosekana (MCAR/MAR/MNAR), lengo la uchambuzi (utabiri dhidi ya uhitimisho), na sifa za data (mfululizo wa wakati, wa anga, mchanganyiko). Kwa mbinu sahihi, uingizaji data husaidia kudumisha uadilifu wa uchambuzi na kutoa hitimisho la kuaminika zaidi.
