Ntho e sa Tloaelehang Lipalopalong ke Eng?
Lipalopalong, data ke thepa ea mantlha e tala bakeng sa ho utloisisa liketsahalo: boitšoaro ba bareki, liphetho tsa liteko, bophelo bo botle ba mokuli, boleng ba tlhahiso, esita le mekhoa ea moruo. Leha ho le joalo, ha se lintlha tsohle tsa data tse "itšoereng" joalo ka bongata. Ka linako tse ling re kopana le boleng bo le bong kapa ho feta bo bonahalang bo fapane haholo le lintlha tse ling kaofela. Lintho tsena tse sa tloaelehang li tsejoa e le tse sa tloaelehang. Ho utloisisa lintho tse sa tloaelehang ho bohlokoa hobane li ka fetola liqeto tsa tlhahlobo, tsa susumetsa mehlala ea ho bolela esale pele, esita le ho bontša liketsahalo tsa bohlokoa tse lokelang ho batlisisoa.
Ho Utloisisa Lintho Tse sa Tloaelehang
Ka bokhutšoanyane, ntho e sa reng letho ke boleng ba tlhokomeliso kapa data bo fapaneng haholo le boholo ba data. Ntho e sa reng letho e ka ba holimo (hodimo haholo) kapa tlase (tlase haholo) ho feta paterone e akaretsang. Mohlala, haeba boholo ba lintlha tsa liteko tsa baithuti li oela moeling oa 60-90, 'me lintlha tse le' ngoe tsa 5 kapa 100 li kheloha haholo, lintlha tseo li lokela ho belaelloa e le tse sa reng letho.
Ho bohlokoa ho totobatsa: ntho e sa tloaelehang ha se kamehla e bolelang "phoso." Ntho e sa tloaelehang e bontša feela hore boleng ha bo tloaelehe ha bo bapisoa le sete ea data. Lintho tse sa tloaelehang li ka hlaha ka lebaka la liphoso tsa ho kenya, lisebelisoa tsa ho lekanya tse fosahetseng, kapa feela li bonahatsa liketsahalo tse sa tloaelehang empa e le tsa bohlokoa lefatšeng la sebele.
Mohlala o bonolo
Nahana ka lintlha tsa chelete e kenang khoeli le khoeli (ka milione ea rupiah) tsa batho ba 10:
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
Mona, nomoro ea 50 e hlahella haholo ha e bapisoa le tse ling. Na 50 ke phoso? E ka ba ho se balehe hantle (e lokela ho ba 5,0), empa e ka boela ea nepahala hobane motho eo ke mong'a khoebo e kholo. Maemong ana ka bobeli, 50 e ntse e le ntho e sa tloaelehang—se fapaneng ke hore na re e tšoara joang tlhahlobong.
Ke Hobane'ng ha ho Hlaha Lintho Tse sa Tloaelehang?
Ho na le mabaka a 'maloa a tloaelehileng a ho hlaha ha lintho tse sa tloaelehang:
1. Phoso ea tekanyo kapa sesebelisoa
Mohlala, sensor ea mocheso ka linako tse ling e ka bala litekanyetso tse feteletseng ka lebaka la tšitiso.
2. Liphoso tsa ho rekota kapa ho kenya data
Mehlala ea khale: ho thaepa 1000 ho fapana le 100, kapa li-unit tse fosahetseng (cm khahlanong le m).
3. Phapang ea tlhaho
Lefatšeng la sebele, ho na le liketsahalo tse sa tloaelehang empa e le tsa sebele: keketseho ea thekiso ka lebaka la papatso e kholo, mokuli o ba le karabelo e sa tloaelehang ho lithethefatsi, kapa moatlelete o beha rekoto e feteletseng.
4. Liphetoho ts'ebetsong kapa maemong
Mohlala, fektheri e thulana le ho hloleha ha mochini ka letsatsi le itseng, e leng se etsang hore palo ea lihlahisoa tse nang le liphoso e eketsehe haholo.
5. Merabe e tsoakiloeng
Sete ea lintlha e ka ba le lihlopha tse 'maloa tse fapaneng tse kopantsoeng. Mohlala, bophahamo ba baithuti ba sekolo se mahareng le ba koleche bo tsoakane; boleng bo bong ba "ho feteletseng" bo ka hlaha eseng ka lebaka la lintho tse sa tloaelehang, empa hobane lihlopha li fapane e le kannete.
Tšusumetso ea Li-Outliers ho Tlhahlobo ea Lipalo-palo
Lintho tse sa amaneng le tse ling li bohlokoa hobane li ka ama liphetho tsa tlhahlobo haholo, haholo-holo mekhoeng e nang le kutloelo-bohloko ho litekanyetso tse feteletseng.
1. E ama karolelano (e tloaelehileng)
Karolelano e "huloa" habonolo ke boleng bo feteletseng. Mohlaleng oa chelete e kenang ka holimo, karolelano e ka phahamisoa haholo ka boleng ba 50, leha boholo ba eona e le hoo e ka bang 5-8.
2. E ama ho kheloha le ho fapana ho tloaelehileng
Hobane dipalo tsa phapang di kenyelletsa dipharologanyo tse sekwere ho tloha ho karolelano, di-outliers di ka eketsa phapang le ho kheloha ho tloaelehileng, ho etsa hore ho bonahale eka data e "atolohile" ho feta kamoo e hlileng e leng kateng.
3. Mehlala e sitisang ea ho khutlela morao le ea ho ithuta ka mochini
Ho regression e otlolohileng, li-outliers li ka sotha mola oa regression, e leng se etsang hore likhakanyo li be mpe bakeng sa boholo ba data. Li-algorithms tse ling, li-outliers li ka etsa hore mohlala o lekane ho feta tekano kapa o ame liparamente tsa koetliso.
4. Teko ea tšusumetso ea khopolo-taba
Lintho tse sa sebetseng hantle li ka tlōla likhopolo tsa ho tloaeleha le ho tšoana ha phapang tse atisang ho sebelisoa litekong tsa parametric, e le hore liqeto tsa lipalo-palo li be leeme.
Leha ho le jwalo, dintho tse sa reng letho le tsona e ka ba matshwao a bohlokwa. Ha ho fumanwa bosholu, ditransekshene tse sa reng letho ke sona seo re batlang ho se batla. Tlhokomelong ya bophelo bo botle, diphetho tsa laboratori tse fapaneng haholo di ka bontsha boemo bo tebileng ba bongaka.
Mokhoa oa ho lemoha tse sa tloaelehang
Ha ho na mokhoa o le mong o "nepahetseng". Ho lemoha lintho tse kantle hangata ho itšetlehile ka moelelo, mofuta oa data le sepheo sa tlhahlobo. Mekhoa e meng e tloaelehileng ke ena:
1. Pono: Boxplot le Scatterplot
– Mabokose a polata a tumme haholo bakeng sa ho bona mabolo a sa bonahaleng. Polelong ea polata, mabolo a sa bonahaleng hangata a tšoauoa e le lintlha tse oelang ka ntle ho lebokose la malepa.
– Dipalopalo tse hasanyang di thusa ho bona dintho tse sa tlwaelehang kamanong e pakeng tsa diphetoho tse pedi, mohlala, boima le bolelele.
Ho bona lintho ka mahlo ho molemo e le mohato oa pele hobane ho potlakile ebile ho bonolo ho utloisisa.
2. Mokhoa oa IQR (Interquartile Range)
Mokhoa oa IQR o atisa ho sebelisoa bakeng sa data e feto-fetohang e le 'ngoe (univariate).
– Bala Q1 (kotara ea 1) le Q3 (kotara ea 3)
– IQR = Q3 − Q1
– Moeli o tlase = Q1 − 1,5 × IQR
– Moeli o ka hodimo = Q3 + 1,5 × IQR
Litekanyetso tse ka ntle ho meeli ena hangata li nkoa e le tse sa tloaelehang. Mokhoa ona o matla haholo hobane ha o angoe haholo ke litekanyetso tse feteletseng.
3. Lintlha tsa Z (ho ipapisitsoe le karolelano le kheloho e tloaelehileng)
Sephetho sa Z se lekanya hore na boleng bo hole hakae le karolelano ho diyuniti tse tloaelehileng tsa ho kheloha.
– z = (x − karolelano) / sd
Boleng bo nang le |z| > 3 (ka linako tse ling > 2,5) hangata bo nkoa e le bo sa tloaelehang.
Bofokoli: haeba data e se e ntse e na le lintlha tse kholo tse sa tloaelehang, karolelano le sd lia ameha e le hore ho lemoha ho se nepahale hakaalo.
4. Mekhoa e thehiloeng ho mohlala le e nang le mefuta e mengata
Bakeng sa data e feto-fetohang ka bongata, lintho tse sa bonahaleng hangata ha li bonahale kholomong e le 'ngoe feela, empa li bonahala ka motsoako oa lintho tse fapaneng tse 'maloa.
– Sebaka sa Mahalanobis hangata se sebediswa ho lemoha dintho tse sa tshwaneng tse ngata.
– Thutong ea mochini, ho na le mekhoa e kang Isolation Forest, Local Outlier Factor (LOF), kapa One-Class SVM.
Mokhoa ona o loketse li-dataset tse kholo le tse rarahaneng, mohlala, ho lemoha ho se tsitse ha litšebelisano tsa lichelete.
U ka Etsa'ng Haeba U Fumana Motho ea sa Tšoaneng le ba Bang?
Tsela e molemohali ea ho e nka ha se ho li hlakola feela. Ka kakaretso, ts'ebetso ea ho sebetsana le eona e kenyelletsa mehato e 'maloa:
1. Netefatso ea lintlha
– Hlahloba hore na ho na le ho kenya ho fosahetseng, ho kopitsa, kapa diyuniti tse fosahetseng.
– Bapisa le mohlodi wa data wa pele (mohlala, diforomo, di-sensor logs, kapa direkoto tsa letsoho).
2. Utloisisa moelelo
– Na litekanyetso tse feteletseng lia utloahala sebakeng seo?
– Mohlala, mocheso oa 'mele oa motho oa 50°C o batla o fosahetse; empa chelete e kenang ea limilione tse 50 e ka ba e utloahalang.
3. Fumana sepheo sa tlhahlobo
– Haeba sepheo e le ho utloisisa boitšoaro ba “kakaretso”, lintho tse sa tloaelehang li ka ’na tsa hloka ho sebetsoa ho li thibela ho busa.
– Haeba sepheo e le ho fumana liketsahalo tse sa tloaelehang (bosholu, ho hloleha ha mochini), lintho tse sa tloaelehang ke tsona tse ka sehloohong tse shebaneng le tsona.
4. Khetha leano la ho sebetsana le bothata
Likhetho tse ling tse tloaelehileng:
– Ho tloswa: ho etswa haeba ntho e kantle e pakilwe e le phoso mme e sa emele.
– Phetoho ea data: mohlala, phetoho ea log bakeng sa data e sothehileng.
– Ho kopanya/ho akaretsa: ho fokotsa boleng bo feteletseng ho diperesente tse itseng (mohlala, p1 le p99).
– Sebelisa mekhoa e matla: e bohareng, e IQR, e matla e khutlelang morao, kapa mehlala e hanyetsanang le e meng.
– Tlhahlobo e arohaneng: ka linako tse ling ho loketse haholoanyane ho sekaseka lintho tse sa tloaelehang e le linyeoe tse khethehileng.
Habohlokoa, liqeto li tlameha ho ngoloa e le hore tlhahlobo e be pepeneneng le e ikarabellang.
Li-Outliers: Bothata kapa Tlhahisoleseling ea Bohlokoa?
Hangata lintho tse sa reng letho li nkoa e le "lerata" hobane li ka sotha kakaretso ea lipalo-palo. Leha ho le joalo, maemong a mangata, lintho tse sa reng letho ke tsela ea ho fumana temohisiso e ncha: boteng ba karolo ea bareki ba boleng bo holimo, boemo ba mokuli bo hlokang tlhokomelo, mohato o mocha ts'ebetsong ea tlhahiso, kapa bolotsana bo ka bang teng. Ka hona, lintho tse sa reng letho li lokela ho nkoa e le ntho e hlokang ho batlisisoa, eseng ho qheleloa ka thoko ka bohona.
Qetello
Ntho e sa tloaelehang lipalo-palong ke boleng bo khelohang haholo pateroneng e akaretsang ea data. Lintho tse sa tloaelehang li ka hlaha ka lebaka la liphoso, phetoho ea tlhaho, liphetoho tsa ts'ebetso, kapa liphapang tsa lihlopha ka har'a sete ea data. Tšusumetso ea tsona e ka ba ea bohlokoa ho karolelano, phapang, liteko tsa lipalo-palo le mehlala ea ho bolela esale pele. Ho lemoha lintho tse sa tloaelehang ho ka finyelloa ka ho bona lintho ka mahlo, mekhoa ea IQR, lintlha tsa z, esita le mekhoa ea multivariate le ho ithuta ka mochini. Ho sebetsana ho tlameha ho nahana ka moelelo le lipheo: ho netefatsa, ho utloisisa lisosa, ebe ho khethoa leano le kang ho tlosa, ho fetola, ho fokotsa boleng, kapa ho sebelisa mekhoa e matla.
Ka kutloisiso e nepahetseng, lintho tse sa tloaelehang ha se feela "lipalo tse sa tloaelehang," empa ke likarolo tsa bohlokoa tsa mokhoa oa lipalo-palo tse ka ntlafatsang boleng ba tlhahlobo le liqeto tse tsamaisoang ke data.
