Kedu ihe bụ ihe dị iche na ọnụ ọgụgụ
N'ọtụtụ ọnụọgụgụ, data bụ ihe bụ isi eji aghọta ihe ndị na-eme: omume ndị ahịa, nsonaazụ ule, ahụike onye ọrịa, ogo mmepụta, na ọbụna ọnọdụ akụ na ụba. Agbanyeghị, ọ bụghị ebe data niile "na-akpa àgwà" dịka ọtụtụ. Mgbe ụfọdụ, anyị na-ezute otu ma ọ bụ karịa ụkpụrụ nke yiri ka ọ dị iche na nke ndị ọzọ nke data ahụ. A maara ndị a dị ka ndị na-apụ apụ. Ịghọta ndị na-apụ apụ dị mkpa n'ihi na ha nwere ike ịgbanwe nkwubi okwu nyocha, metụta ụdị amụma, ma ọ bụ ọbụna gosi ihe omume dị mkpa kwesịrị inyocha.
Ịghọta Ihe Ndị Na-abụghị Ihe
N'ikwu ya n'ụzọ dị mfe, ihe na-apụtaghị ìhè bụ ihe nlele ma ọ bụ uru data nke dị iche nke ukwuu na ọtụtụ data. Ihe na-apụtaghị ìhè nwere ike ịdị elu (nke ukwuu) ma ọ bụ dị ala (nke ukwuu) karịa usoro izugbe. Dịka ọmụmaatụ, ọ bụrụ na ọtụtụ akara ule ụmụ akwụkwọ dara na oke 60-90, otu akara nke 5 ma ọ bụ 100 gbapụrụ nke ukwuu, a ga-enyo akara ahụ enyo dị ka ihe na-apụtaghị ìhè.
Ọ dị mkpa imesi ike: ihe na-apụtaghị ìhè apụtaghị mgbe niile "njehie." Ihe na-apụtaghị ìhè na-egosi na uru ahụ adịghị iche ma e jiri ya tụnyere ihe e depụtara data. Ihe na-apụtaghị ìhè nwere ike ịpụta site na njehie ntinye, ngwaọrụ nha adịghị mma, ma ọ bụ naanị igosipụta ihe ndị dị egwu mana dị mkpa n'ụwa.
Ihe atụ dị mfe
Chee echiche banyere ego mmadụ iri ga-enweta kwa ọnwa (na nde rupiah):
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
N'ebe a, nọmba 50 pụtara ìhè nke ọma ma e jiri ya tụnyere ndị ọzọ. 50 ọ bụ njehie? Ọ nwere ike ịbụ nghọtahie (ọ kwesịrị ịbụ 5,0), mana ọ nwekwara ike ịbụ eziokwu n'ihi na onye ahụ bụ nnukwu onye nwe azụmaahịa. N'ọnọdụ ọ bụla, 50 ka bụ ihe dị iche - ihe dị iche bụ otu anyị si emeso ya na nyocha ahụ.
Gịnị mere ndị na-abụghị ndị ọzọ ji apụta?
E nwere ọtụtụ ihe na-akpata ọdịdị nke ndị na-abụghị ndị ọzọ:
1. Njehie nha ma ọ bụ ngwaọrụ
Dịka ọmụmaatụ, ihe mmetụta okpomọkụ nwere ike ịgụ ụkpụrụ dị oke njọ mgbe ụfọdụ n'ihi nnyonye anya.
2. Njehie dị na idekọ ma ọ bụ itinye data
Ihe atụ ndị a ma ama: ịpị 1000 kama 100, ma ọ bụ nkeji na-ezighi ezi (cm vs m).
3. Mgbanwe okike
N'ụwa n'ezie, e nwere ihe ndị a na-adịghị ahụkebe mana ha bụ eziokwu: mmụba ahịa n'ihi nnukwu nkwalite, onye ọrịa nwere mmeghachi omume pụrụ iche nye ọgwụ ọjọọ, ma ọ bụ onye egwuregwu na-etinye ihe ndekọ dị oke njọ.
4. Mgbanwe na usoro ma ọ bụ ọnọdụ
Dịka ọmụmaatụ, ụlọ ọrụ mmepụta ihe na-enwe nsogbu igwe n'otu ụbọchị, nke na-eme ka ọnụọgụ ngwaahịa ndị nwere nkwarụ mụbaa nke ukwuu.
5. Ndị mmadụ dị iche iche
Nchịkọta data nwere ike ịnwe ọtụtụ otu dị iche iche ejikọtara ọnụ. Dịka ọmụmaatụ, ogo ụmụ akwụkwọ sekọndrị na kọleji dị iche iche; ụfọdụ ụkpụrụ "oke" nwere ike ịpụta ọ bụghị n'ihi ihe na-adịghị mma, kama n'ihi na otu dị iche iche dị n'ezie.
Mmetụta nke ndị na-abụghị ndị ọzọ na nyocha ọnụọgụgụ
Ihe ndị na-abụghị ihe dị mkpa n'ihi na ha nwere ike imetụta nsonaazụ nke nyocha ahụ nke ukwuu, ọkachasị n'ụzọ ndị na-emetụta oke ụkpụrụ.
1. Na-emetụta nkezi (nkezi)
A na-eji nnukwu uru "adọpụta" nkezi ahụ ngwa ngwa. N'ihe atụ ego dị n'elu, uru nkezi ahụ ga-abawanye nke ukwuu site na uru nke 50, ọbụlagodi na ọtụtụ dị ihe dị ka 5-8.
2. Na-emetụta mgbanwe ọkọlọtọ na mgbanwe
Ebe ọ bụ na ngụkọ mgbanwe gụnyere ọdịiche dị n'akụkụ anọ site na nkezi, ndị na-abụghị nke ọzọ nwere ike ime ka mgbanwe na mgbanwe ọkọlọtọ dịkwuo elu, na-eme ka o yie ka a ga-asị na data ahụ "agbasa" karịa ka ha dị n'ezie.
3. Ụdị mmụta igwe na-akpaghasị mgbanwe na ihe ndị na-akpata nsogbu
Na mgbanwe ahịrị, ndị na-abụghị nke ọzọ nwere ike ịgbanwe ahịrị mgbanwe, na-eme ka amụma ghara ịdị mma maka ọtụtụ data. Na ụfọdụ algọridim, ndị na-abụghị nke ọzọ nwere ike ime ka ihe nlereanya ahụ mee ihe gabiga ókè ma ọ bụ metụta paramita ọzụzụ.
4. Nnyocha echiche mmetụta
Ndị na-abụghị ndị ọzọ nwere ike imebi echiche nke ịdị mma na ịdị mma nke ọdịiche nke a na-ejikarị eme ihe na ule parametric, nke mere na nkwubi okwu ọnụọgụgụ na-aghọ nke na-enweghị isi.
Agbanyeghị, ihe ndị na-abụghị nke a na-ahụ anya nwekwara ike ịbụ ihe ịrịba ama dị mkpa. N'ịchọpụta aghụghọ, azụmahịa ndị na-abụghị nke a na-ahụ anya bụ kpọmkwem ihe anyị chọrọ ịchọ. Na nlekọta ahụike, nsonaazụ ụlọ nyocha dị iche iche nwere ike igosi ọnọdụ ahụike dị njọ.
Otu esi achọpụta ihe ndị na-abụghị nke ha
Enweghị usoro "ziri ezi". Nchọpụta ihe na-adịghị mma na-adaberekarị na ihe dị n'ime ya, ụdị data, na ebumnuche nyocha. Lee ụfọdụ ụzọ a na-ejikarị eme ihe:
1. Nlereanya: Boxplot na Scatterplot
– A na-ahụkarị igbe igbe maka ịchọpụta ndị na-abụghị ndị ọzọ. N'ime igbe igbe, a na-akara ndị na-abụghị ndị ọzọ akara dị ka isi ihe ndị na-apụta n'èzí igbe ajị anụ.
– Scatterplots na-enyere aka ịhụ ihe ndị na-abụghị ihe dị iche na mmekọrịta dị n'etiti ihe abụọ dị iche iche, dịka ọmụmaatụ ibu na ịdị elu.
Ịhụ ihe anya bara uru dịka nzọụkwụ mbụ n'ihi na ọ dị ngwa ngwa ma dị mfe nghọta.
2. Usoro IQR (Interquartile Range)
A na-ejikarị usoro IQR eme ihe maka data mgbanwe otu-otu (univariate).
– Gbakọọ Q1 (quartile 1) na Q3 (quartile 3)
– IQR = Q3 − Q1
– Oke ala = Q1 − 1,5 × IQR
– Oke elu = Q3 + 1,5 × IQR
A na-ewerekarị ụkpụrụ ndị na-abụghị oke ndị a dị ka ihe dị iche. Usoro a siri ike nke ukwuu n'ihi na ụkpụrụ ndị dị oke njọ anaghị emetụta ya nke ukwuu.
3. Akara Z (dabere na nkezi na nkezi nke ọkọlọtọ)
Akara Z na-atụ anya otú uru si dị anya site na nkezi na nkeji nkewa ọkọlọtọ.
– z = (x − nkezi) / sd
A na-ewerekarị ụkpụrụ nwere |z| > 3 (mgbe ụfọdụ > 2,5) dị ka ihe na-abụghị nke ha.
Adịghị Ike: ọ bụrụ na data ahụ nwere nnukwu ihe ndị na-abụghị nke ya, a na-emetụta nkezi na sd ka nchọpụta ahụ wee ghara izi ezi.
4. Usoro dabere na ụdị na usoro dị iche iche
Maka data mgbanwe dị iche iche, a naghị ahụ ihe ndị na-apụtaghị ìhè mgbe niile n'otu kọlụm, kama ọ bụ ngwakọta nke ọtụtụ mgbanwe.
- A na-ejikarị anya Mahalanobis achọpụta ihe ndị na-abụghị multivariate.
– N'ịmụta igwe, e nwere ụzọ dịka Isolation Forest, Local Outlier Factor (LOF), ma ọ bụ One-Class SVM.
Usoro a dabara adaba maka nnukwu data dị mgbagwoju anya, dịka ọmụmaatụ nchọpụta nsogbu azụmahịa ego.
Kedu ihe ị ga-eme ma ọ bụrụ na ịchọta onye na-abụghị onye ọzọ?
Ihe kacha mma ime abụghị naanị ihichapụ ha. N'ozuzu, usoro njikwa ihe ndị ọzọ na-agụnye ọtụtụ usoro:
1. Nkwenye data
- Lelee maka ntinye na-ezighi ezi, mmegharị abụọ, ma ọ bụ nkeji na-ezighi ezi.
- Tụlee ya na isi mmalite data mbụ (dịka ọmụmaatụ ụdị, ndekọ ihe mmetụta, ma ọ bụ ndekọ aka).
2. Ghọta ihe gbara ya gburugburu
– Ụkpụrụ ndị dị oke njọ ọ dị na ngalaba ahụ?
– Dịka ọmụmaatụ, okpomọkụ ahụ mmadụ nke 50°C bụ ihe na-ezighị ezi n'ezie; mana ego ruru nde iri ise nwere ike ịbụ ihe ezi uche dị na ya.
3. Chọpụta ihe mere e ji mee nyocha ahụ
– Ọ bụrụ na ebumnuche bụ ịghọta omume "n'ozuzu", ọ ga-adị mkpa ka a na-emeso ndị na-abụghị ndị ọzọ iji gbochie ha ịchị.
– Ọ bụrụ na ebumnuche bụ ịchọta ihe ndị a na-adịghị ahụkebe (aghụghọ, mmebi igwe), ihe ndị na-abụghị nke a na-elekwasị anya bụ isi ihe.
4. Họrọ usoro njikwa
Ụfọdụ nhọrọ ndị a na-ahụkarị:
– Mwepụ: emechara ma ọ bụrụ na egosiri na ihe na-abụghị mmejọ bụ njehie ma ọ bụghị ihe nnọchi anya.
– Mgbanwe data: dịka ọmụmaatụ mgbanwe ndekọ maka data gbagọrọ agbagọ.
– Mmeri/mkpọchi: ịmachi oke ụkpụrụ na pasentị ụfọdụ (dịka ọmụmaatụ p1 na p99).
– Jiri usoro siri ike: usoro etiti, IQR, usoro siri ike nke regression, ma ọ bụ usoro ndị na-eguzogide ọgwụ.
– Nyocha dị iche: mgbe ụfọdụ, ọ ka mma ịtụle ihe ndị na-abụghị ihe dị ka ikpe pụrụ iche.
Ihe dị mkpa bụ na a ga-edetu mkpebi ndị a ka nyocha ahụ wee doo anya ma bụrụ nke a ga-aza ajụjụ.
Ndị Na-abụghị Ndị Ọzọ: Nsogbu ma ọ bụ Ozi Bara Uru?
A na-ewerekarị ndị na-anaghị echekwa ihe n'èzí dị ka "mkpọtụ" n'ihi na ha nwere ike ịgbagọ nchịkọta ọnụọgụgụ. Agbanyeghị, n'ọtụtụ oge, ndị na-anaghị echekwa ihe bụ ụzọ isi nweta nghọta ọhụrụ: ịdị adị nke ngalaba ndị ahịa dị elu, ọnọdụ onye ọrịa nke chọrọ nlebara anya, usoro ọhụrụ na usoro mmepụta, ma ọ bụ wayo nwere ike ime. Ya mere, a ga-emeso ndị na-anaghị echekwa ihe n'èzí dị ka ihe a ga-enyocha, ọ bụghị iwepụ ya ozugbo.
Mmechi
Ihe dị iche na ọnụọgụgụ bụ uru nke na-apụ iche nke ukwuu na usoro izugbe nke data ahụ. Ihe ndị na-apụtaghị ìhè nwere ike ịpụta n'ihi njehie, mgbanwe ebumpụta ụwa, mgbanwe usoro, ma ọ bụ ọdịiche otu n'ime dataset. Mmetụta ha nwere ike ịdị mkpa na nkezi, mgbanwe, ule ọnụọgụgụ, na ụdị amụma. Enwere ike nweta nchọpụta mpụga site na iji anya, usoro IQR, akara z, na ọbụna ụzọ dị iche iche na mmụta igwe. Ijikwa ga-atụle ihe gbara ya gburugburu na ebumnuche ya: inyocha, ịghọta ihe kpatara ya, wee họrọ atụmatụ dị ka iwepụ, ịgbanwe, ịmachi ụkpụrụ, ma ọ bụ iji usoro siri ike.
Site na nghọta kwesịrị ekwesị, ihe ndị na-abụghị naanị "ọnụọgụ dị iche iche," kama ọ bụ ihe dị mkpa n'omume ọnụọgụgụ nke nwere ike imeziwanye ogo nyocha na mkpebi dabere na data.
