Menene Fitowar Mutum a Kididdiga
A cikin kididdiga, bayanai sune babban kayan aiki don fahimtar abubuwan da suka faru: halayen masu amfani, sakamakon gwaji, lafiyar marasa lafiya, ingancin samarwa, har ma da yanayin tattalin arziki. Duk da haka, ba duk wuraren bayanai suna "yin aiki" kamar yawancin ba. Wani lokaci muna fuskantar ɗabi'u ɗaya ko fiye waɗanda suka bambanta sosai da sauran bayanan. Waɗannan abubuwan da suka wuce gona da iri ana kiransu da waɗanda ba su wuce gona da iri ba. Fahimtar abubuwan da suka wuce gona da iri yana da mahimmanci saboda suna iya canza ƙarshen nazari, rinjayar samfuran hasashen, har ma da nuna muhimman abubuwan da suka cancanci bincike.
Fahimtar Masu Cancanta
A taƙaice dai, wani abu da ya wuce gona da iri shine ƙimar lura ko bayanai da ta bambanta sosai da yawancin bayanai. Abubuwan da suka wuce gona da iri na iya zama mafi girma (mafi girma sosai) ko ƙasa da su (ƙasa sosai) fiye da tsarin gabaɗaya. Misali, idan yawancin sakamakon jarrabawar ɗalibai ya faɗi a cikin kewayon 60-90, kuma maki ɗaya na 5 ko 100 ya bambanta sosai, ya kamata a yi zargin cewa wannan maki ya wuce gona da iri.
Yana da mahimmanci a jaddada: rashin daidaito ba koyaushe yana nufin "kuskure" ba. Rashin daidaito yana nuna cewa ƙimar ba ta da kyau idan aka kwatanta da saitin bayanai. Rashin daidaito na iya tasowa daga kurakuran shigarwa, kayan aikin aunawa marasa kyau, ko kuma kawai yana nuna abubuwan da ba a saba gani ba amma masu mahimmanci na gaske.
Misali mai sauƙi
Ka yi tunanin bayanan kuɗin shiga na wata-wata (a cikin rupiah miliyan) na mutane 10:
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
A nan, lamba 50 ta yi fice sosai idan aka kwatanta da sauran. Shin 50 kuskure ne? Zai iya zama kuskuren karantawa (ya kamata ya zama 5,0), amma kuma yana iya zama daidai saboda mutumin babban mai kasuwanci ne. A kowane hali, 50 ya kasance abin da ya fi ban mamaki—abin da ya bambanta shi ne yadda muke magance shi a cikin nazarin.
Me Yasa Masu Banbanci Ke Bayyana?
Akwai dalilai da yawa da suka sa ake samun rashin haihuwa a cikin mata:
1. Kuskuren aunawa ko kayan aiki
Misali, na'urar auna zafin jiki na iya karanta ƙima mai yawa saboda tsangwama.
2. Kurakurai a cikin rikodi ko shigar da bayanai
Misalan gargajiya: buga 1000 maimakon 100, ko kuma raka'a mara kyau (cm vs m).
3. Bambancin yanayi
A duniyar gaske, akwai abubuwan da ba kasafai ake samu ba amma masu gaskiya: karuwar tallace-tallace saboda babban talla, majiyyaci yana samun martanin da ba a saba gani ba ga magani, ko kuma ɗan wasa ya kafa tarihi mai tsauri.
4. Canje-canje a cikin tsari ko yanayi
Misali, masana'anta na fuskantar matsalar na'ura a wani rana, wanda hakan ke sa adadin kayayyakin da ke da matsala ya karu sosai.
5. Al'ummai daban-daban
Tsarin bayanai na iya ƙunsar ƙungiyoyi daban-daban a haɗe. Misali, tsayin ɗaliban makarantar sakandare da na kwaleji ya gauraye; wasu ƙimomin "masu tsauri" na iya bayyana ba saboda rashin daidaituwa ba, amma saboda ƙungiyoyin sun bambanta da gaske.
Tasirin Masu Fitar da Kaya a Kan Nazarin Kididdiga
Abubuwan da ba su da alaƙa da juna suna da mahimmanci saboda suna iya yin tasiri sosai ga sakamakon bincike, musamman a cikin hanyoyin da ke da alaƙa da ƙima mai yawa.
1. Yana shafar matsakaicin (matsakaici)
Ana iya "jawo" matsakaicin cikin sauƙi ta hanyar ƙima mai tsanani. A cikin misalin samun kuɗi da ke sama, matsakaicin zai ƙaru sosai da ƙimar 50, kodayake yawancinsu suna kusa da 5-8.
2. Tasiri karkacewar daidaito da bambancin ra'ayi
Domin lissafin bambance-bambance Idan aka haɗa da bambance-bambancen murabba'i daga matsakaici, waɗanda ba sa cikin wannan ɓangaren na iya haɓaka bambancin da karkacewar da aka saba, yana sa ya zama kamar bayanan sun fi "bazuwa" fiye da yadda suke a zahiri.
3. Dagula tsarin komawa baya da kuma injin inji
A cikin komawar layi, masu wuce gona da iri na iya karkatar da layin komawa baya, suna sa hasashen ya yi muni ga yawancin bayanai. A wasu algorithms, masu wuce gona da iri na iya sa samfurin ya wuce gona da iri ko kuma ya shafi sigogin horo.
4. Tasiri gwajin hasashe
Masu wuce gona da iri na iya karya zato na daidaito da daidaiton bambancin da ake amfani da su a gwaje-gwajen parametric, don haka ƙarshen ƙididdiga ya zama son kai.
Duk da haka, waɗanda ba sa cikin haɗari suma na iya zama muhimman alamu. A fannin gano zamba, mu'amalar da ba sa cikin haɗari ita ce ainihin abin da muke son nema. A fannin kiwon lafiya, sakamakon gwaje-gwaje daban-daban na iya nuna mummunan yanayin lafiya.
Yadda Ake Gano Abubuwan da Ba Su Dace Ba
Babu wata hanya "mai kyau". Gano bayanai daga waje sau da yawa ya dogara da mahallin, nau'in bayanai, da manufofin bincike. Ga wasu hanyoyi gama gari:
1. Ganin: Boxplot da Scatterplot
– Akwatunan zane-zane suna da matuƙar shahara wajen gano waɗanda ba sa cikin akwatin. A cikin akwatin zane-zane, galibi ana yiwa waɗanda ba sa cikin akwatin zane alama a matsayin maki da ke faɗuwa a wajen akwatin zane-zane.
– Scatterplots suna taimakawa wajen ganin abubuwan da ba su dace ba a cikin dangantakar da ke tsakanin masu canji guda biyu, misali nauyi da tsayi.
Nunawa yana da amfani a matsayin mataki na farko domin yana da sauri kuma yana da sauƙin fahimta.
2. Hanyar IQR (Interquartile Range)
Ana amfani da hanyar IQR sau da yawa don bayanai masu canzawa guda ɗaya (univariate).
– Lissafa Q1 (kwata 1) da Q3 (kwata 3)
– IQR = Q3 − Q1
– Ƙananan iyaka = Q1 − 1,5 × IQR
– Iyakar sama = Q3 + 1,5 × IQR
Yawanci ana ɗaukar ƙimomin da ba su wuce waɗannan iyakoki a matsayin waɗanda suka fi yawa. Wannan hanyar tana da ƙarfi sosai saboda ƙimomin da suka wuce gona da iri ba sa shafar ta sosai.
3. Maki na Z (bisa ga matsakaicin karkacewa da daidaitaccen karkacewa)
Maki na Z yana auna nisan da ƙima take da shi daga matsakaici a cikin raka'o'in karkacewa daidaitaccen tsari.
– z = (x − ma'ana) / sd
Ƙima masu |z| > 3 (wani lokacin > 2,5) galibi ana ɗaukar su a matsayin waɗanda ba su da alaƙa da juna.
Rashin ƙarfi: idan bayanan sun riga sun ƙunshi manyan abubuwan da ba su dace ba, matsakaicin da sd suna shafar don haka ganowa ba zai iya zama daidai ba.
4. Hanyoyin da suka dogara da samfuri da kuma hanyoyin da suka bambanta da juna
Ga bayanai masu canzawa da yawa, ba koyaushe ake ganin abubuwan da suka fi dacewa a cikin shafi ɗaya ba, amma a cikin haɗuwa da masu canji da yawa.
- Sau da yawa ana amfani da nisan Mahalanobis don gano nau'ikan da ba sa canzawa sosai.
– A fannin koyon injina, akwai hanyoyi kamar Isolation Forest, Local Outlier Factor (LOF), ko One-Class SVM.
Wannan hanyar ta dace da manyan bayanai masu rikitarwa, misali gano abubuwan da ba su dace ba na ma'amala ta kuɗi.
Me Za Ka Yi Idan Ka Samu Wani Mai Ban Dariya?
Mafi kyawun mataki ba shine kawai a goge su ba. Gabaɗaya, tsarin sarrafa su ya ƙunshi matakai da yawa:
1. Tabbatar da bayanai
– Duba ko akwai kuskure a shigar, ko kwafi, ko kuma raka'o'in da ba daidai ba.
- Kwatanta da asalin tushen bayanai (misali siffofi, bayanan firikwensin, ko bayanan hannu).
2. Fahimci mahallin
– Shin ƙa'idodi masu tsauri suna da ma'ana a yankin?
– Misali, zafin jikin ɗan adam na 50°C kusan ba daidai ba ne; amma kuɗin shiga na miliyan 50 na iya zama mai ma'ana.
3. Kayyade manufar binciken
– Idan manufar ita ce a fahimci ɗabi'ar "gabaɗaya", to akwai buƙatar a magance waɗanda ba su da alaƙa da juna domin hana su rinjaye.
– Idan manufar ita ce a gano abubuwan da ba kasafai ake samun su ba (zamba, gazawar injina), abubuwan da ba su dace ba su ne babban abin da aka fi mayar da hankali a kai.
4. Zaɓi dabarun sarrafawa
Wasu zaɓuɓɓuka gama gari:
– Cirewa: an yi shi idan an tabbatar da cewa kuskure ne kuma ba wakilci ba.
– Canjin bayanai: misali canjin log don bayanan da suka karkace.
– Yin nasara/cirewa: iyakance ƙima mai tsauri ga wasu kaso-kaso (misali p1 da p99).
– Yi amfani da hanyoyi masu ƙarfi: samfuran matsakaici, IQR, masu ƙarfi na juyawa, ko samfuran da ba su da juriya ga waje.
– Bincike daban: wani lokacin ya fi dacewa a yi nazarin abubuwan da ba na waje ba a matsayin shari'o'i na musamman.
Abu mai mahimmanci, dole ne a rubuta shawarwarin da aka yanke domin binciken ya kasance mai gaskiya da rikon amana.
Masu Bacewa: Matsala ko Bayani Mai Muhimmanci?
Sau da yawa ana ɗaukar masu fitar da kaya a matsayin "hayaniya" saboda suna iya ɓata taƙaitaccen bayani na ƙididdiga. Duk da haka, a lokuta da yawa, masu fitar da kaya a waje su ne hanyar shiga sabbin fahimta: wanzuwar ɓangaren abokin ciniki mai tsada, yanayin majiyyaci wanda ke buƙatar kulawa, sabon mataki a cikin tsarin samarwa, ko yuwuwar zamba. Saboda haka, ya kamata a ɗauki masu fitar da kaya a matsayin wani abu da ke buƙatar a bincika, ba a yi watsi da shi ta atomatik ba.
Kammalawa
Fifikon kididdiga shine ƙimar da ta bambanta sosai da tsarin bayanai na gaba ɗaya. Fifikon na iya tasowa saboda kurakurai, bambancin halitta, canje-canjen tsari, ko bambance-bambancen rukuni a cikin tarin bayanai. Tasirinsu na iya zama mai mahimmanci akan matsakaici, bambance-bambance, gwaje-gwajen ƙididdiga, da samfuran hasashen. Ana iya cimma gano fifikon ta hanyar gani, hanyoyin IQR, maki z, har ma da hanyoyin bambance-bambance da yawa da koyon na'ura. Kulawa dole ne a yi la'akari da mahallin da manufofin: tabbatarwa, fahimtar dalilai, sannan zaɓar dabara kamar cirewa, canzawa, iyakance ƙima, ko amfani da hanyoyi masu ƙarfi.
Tare da fahimta mai kyau, abubuwan da ba su da kyau ba kawai "lambobi marasa kyau" ba ne, amma muhimman abubuwa ne na ayyukan ƙididdiga waɗanda za su iya inganta ingancin nazarin bayanai da yanke shawara.
