Di Statîstîkan de Outlier çi ye?
Di îstatîstîkan de, daneyên materyalê xav ê sereke ne ji bo têgihîştina diyardeyan: tevgerên xerîdaran, encamên ceribandinê, tenduristiya nexweşan, kalîteya hilberînê, û tewra meylên aborî. Lêbelê, ne hemî xalên daneyan mîna piraniya "tevdigerin". Carinan em rastî yek an çend nirxan tên ku ji yên mayî yên koma daneyan pir cûda xuya dikin. Van nirxên derveyî wekî nirxên derveyî têne zanîn. Fêmkirina nirxên derveyî girîng e ji ber ku ew dikarin encamên analîtîk biguherînin, bandorê li modelên pêşbînîkirinê bikin, û tewra bûyerên girîng ên ku hêjayî lêkolînê ne nîşan bidin.
Têgihîştina Tiştên Derveyî
Bi gotineke hêsan, nirxek çavdêrî an daneyê ye ku ji piraniya daneyan pir cuda ye. Nirxên derveyî dikarin ji qaliba giştî bilindtir (pir zêde) an nizmtir (pir kêm) bin. Mînakî, heke piraniya puanên testên xwendekaran di navbera 60-90 de bin, û puanek 5 an 100 bi girîngî ji wê cuda bibe, divê guman li ser wê puanê were kirin ku nirxek derveyî ye.
Girîng e ku were tekez kirin: nirxek derveyî her gav nayê wateya "xeletiyê". Nirxek derveyî tenê nîşan dide ku nirx li gorî daneyên komê neasayî ye. Nirxên derveyî dikarin ji xeletiyên têketinê, amûrên pîvandinê yên xelet derkevin holê, an jî tenê bûyerên cîhana rastîn ên kêm lê girîng nîşan bidin.
Nimûneyek hêsan
Agahiyên dahata mehane (bi mîlyon rupiya) ya 10 kesan xeyal bikin:
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
Li vir, hejmara 50 li gorî yên din bi awayekî zelal derdikeve pêş. Ma 50 xeletî ye? Dibe ku xwendinek xelet be (divê 5,0 be), lê dibe ku rast be jî ji ber ku kes xwediyê karsaziyek mezin e. Di her du rewşan de, 50 wekî rêjeyek derveyî dimîne - tiştê ku cûda ye ev e ku em çawa di analîzê de pê re mijûl dibin.
Çima Tiştên Derveyî Derdikevin?
Gelek sedemên hevpar ên xuyabûna nîşaneyên neasayî hene:
1. Çewtiya pîvandinê an amûrê
Mînakî, sensorek germahiyê carinan dikare nirxên zêde ji ber destwerdanê bixwîne.
2. Çewtiyên di tomarkirin an têketina daneyan de
Nimûneyên klasîk: nivîsandina 1000 li şûna 100, an yekîneyên xelet (cm li hember m).
3. Guherîna xwezayî
Di cîhana rastîn de, diyardeyên kêm lê rastîn hene: zêdebûna firotanê ji ber promosyonek mezin, nexweşek bertekek neasayî nîşanî dermanek dide, an werzişvanek rekordek ekstrem diafirîne.
4. Guhertinên di pêvajo an şert û mercan de
Bo nimûne, kargehek di rojekê de makîneyek xera dibe, ev jî dibe sedema zêdebûna hejmara berhemên xelet.
5. Gelheyên tevlîhev
Di komek daneyan de dibe ku çend komên cuda hebin. Bo nimûne, bilindahiya xwendekarên dibistana navîn û zanîngehê tevlihev in; dibe ku hin nirxên "ekstrem" ne ji ber anomalîyan xuya bibin, lê ji ber ku kom bi rastî ji hev cuda ne.
Bandora Nirxên Derveyî Li Ser Analîza Îstatîstîkî
Nirxên derveyî girîng in ji ber ku ew dikarin bandorek girîng li ser encamên analîzekê bikin, nemaze di rêbazên ku ji nirxên ekstrem re hesas in.
1. Bandorê li ser navînî (navînî) dike
Navînî bi hêsanî ji hêla nirxên ekstrem ve tê "kişandin". Di mînaka dahatê ya jorîn de, navînî dê bi nirxek 50-ê bi girîngî were zêdekirin, her çend piraniya wan li dora 5-8-an bin jî.
2. Bandorê li ser devîasyona standard û guherînê dike
Ji ber ku hesabkirina guherbariyê cudahîyên çargoşeyî ji navînîyê dihewîne, nirxên derveyî dikarin guherbarî û devîasyona standard zêde bikin, û wisa bikin ku daneyên ji ya rastî "belavtir" xuya bikin.
3. Regresyona acizker û modelên fêrbûna makîneyê
Di regresyona xêzikî de, nirxên derveyî dikarin xeta regresyonê xwar bikin, û pêşbîniyan ji bo piraniya daneyan xirab bikin. Di hin algorîtmayan de, nirxên derveyî dikarin bibin sedema ku model zêde li gorî xwe bicîh bibe an jî bandorê li parametreyên perwerdehiyê bike.
4. Testa hîpotezê ya bandorê
Nirxên derveyî dikarin texmînên normalbûn û homojeniya guherbariyê yên ku pir caran di testên parametrîk de têne bikar anîn binpê bikin, da ku encamên îstatîstîkî bibin alîgir.
Lêbelê, nirxên derveyî dikarin nîşanên girîng bin jî. Di tespîtkirina sextekariyê de, danûstandinên derveyî tam ew in ku em dixwazin lê bigerin. Di lênihêrîna tenduristiyê de, encamên laboratîfê yên pir cûda dikarin rewşek bijîşkî ya cidî nîşan bidin.
Çawa Nirxên Derveyî Tesbît Bikin
Rêbazeke "rast" tune. Tesbîtkirina tiştên derveyî pir caran bi çarçove, celebê daneyê û armancên analîzê ve girêdayî ye. Li vir çend rêbazên hevpar hene:
1. Dîtbarîkirin: Boxplot û Scatterplot
– Boxplots ji bo dîtina nirxên derveyî pir populer in. Di boxplot de, nirxên derveyî bi gelemperî wekî xalên ku li derveyî qutiya mûyan in têne nîşankirin.
- Nexşeyên belavbûnê dibin alîkar ku di têkiliya di navbera du guherbaran de nirxên derveyî werin dîtin, mînakî giranî li hember bilindahî.
Dîtbarîkirin wek gava yekem kêrhatî ye ji ber ku ew zû û hêsan e.
2. Rêbaza IQR (Rêzeya Navbera Çarçikan)
Rêbaza IQR pir caran ji bo daneyên yek-guhêrbar (univariate) tê bikar anîn.
- Q1 (çarîtek 1) û Q3 (çarîtek 3) hesab bike
– IQR = Q3 − Q1
– Sînorê jêrîn = Q1 − 1,5 × IQR
– Sînorê jorîn = Q3 + 1,5 × IQR
Nirxên li derveyî van sînoran bi gelemperî wekî nirxên derveyî têne hesibandin. Ev rêbaz nisbeten xurt e ji ber ku ew ji hêla nirxên ekstrem ve pir nayê bandor kirin.
3. Pûana Z (li ser bingeha navînî û devîasyona standard)
Z-score dipîve ka nirxek çiqas ji navînî dûr e bi yekîneyên devîasyona standard.
– z = (x − navînî) / sd
Nirxên bi |z| > 3 (carinan > 2,5) pir caran wekî nirxên derveyî têne hesibandin.
Lawazî: heke daneyên berê jixwe nirxên derveyî yên mezin dihewînin, navînî û sd bandor dibin, ji ber vê yekê tespîtkirin dikare kêmtir rast be.
4. Rêbazên li ser bingeha modelê û pirguherbar
Ji bo daneyên pir-guhêrbar, nirxên derveyî ne her tim tenê di yek stûnê de, lê di tevlîheviya çend guhêrbaran de xuya dibin.
- Dûrahiya Mahalanobis gelek caran ji bo tespîtkirina nirxên pirguherbar tê bikar anîn.
- Di fêrbûna makîneyê de, rêbazên wekî Daristana Tecrîdê, Faktora Derveyî ya Herêmî (LOF), an SVM-ya Yek-Sınıf hene.
Ev rêbaz ji bo daneyên mezin û tevlihev, mînakî tespîtkirina anomaliyên danûstandinên darayî, guncaw e.
Ger hûn xerîbek bibînin, hûn çi bikin?
Baştirîn rêbaz ne tenê jêbirina wan e. Bi gelemperî, pêvajoya birêvebirina tiştên derveyî çend gavan dihewîne:
1. Verastkirina daneyan
- Ji bo têketina xelet, dubarekirin, an yekîneyên xelet kontrol bikin.
- Bi çavkaniya daneyên orîjînal re bidin ber hev (mînak, form, tomarên sensoran, an tomarên destan).
2. Têgihîştina çarçoveyê
- Ma nirxên tundrew di warê de watedar in?
- Bo nimûne, germahiya laşê mirov a 50°C hema bêje bê guman xelet e; lê dahata 50 milyonî dibe ku maqûl be.
3. Armanca analîzê diyar bike
- Eger armanc têgihîştina tevgerên "giştî" be, dibe ku pêdivî bi desteserkirina xalên derveyî hebe da ku rê li ber serdestbûna wan were girtin.
- Eger armanc dîtina bûyerên kêmdîtî (sextekarî, têkçûna makîneyê) be, balê dikişîne ser bûyerên derveyî.
4. Stratejiyeke birêvebirinê hilbijêre
Hin vebijarkên hevpar:
– Rakirin: eger were îspatkirin ku tiştê derveyî xelet e û nûner nîne, tê kirin.
- Veguherîna daneyan: bo nimûne veguherîna log ji bo daneyên çewt.
- Winsorîzekirin / sînorkirin: nirxên ekstrem bi hin sedîlan sînordar dike (mînak p1 û p99).
- Rêbazên bihêz bikar bînin: medyan, IQR, regresyona bihêz, an modelên berxwedêr ên derveyî.
- Analîzek cuda: carinan guncawtir e ku nirxên derveyî wekî rewşên taybetî werin analîzkirin.
Ya girîng, divê biryar werin belgekirin da ku analîz şefaf û berpirsiyar be.
Derketin: Pirsgirêk an Agahiyên Hêja?
Gelek caran nirxên derveyî wekî "deng" têne hesibandin ji ber ku ew dikarin kurteyên îstatîstîkî xirab bikin. Lêbelê, di gelek rewşan de, nirxên derveyî deriyê têgihîştinên nû ne: hebûna beşek xerîdar a premium, rewşek nexweşek ku hewceyê baldariyê ye, qonaxek nû di pêvajoya hilberînê de, an sextekariya potansiyel. Ji ber vê yekê, divê nirxên derveyî wekî tiştek ku hewce ye ku were lêkolîn kirin werin dermankirin, ne ku bixweber werin red kirin.
Xelasî
Nirxek derveyî di îstatîstîkê de nirxek e ku ji qaliba giştî ya daneyan bi girîngî dûr dikeve. Nirxên derveyî dikarin ji ber xeletiyan, guherîna xwezayî, guhertinên pêvajoyê, an cûdahiyên komê di nav komek daneyan de derkevin holê. Bandora wan dikare li ser navînî, guherbarî, testên îstatîstîkî, û modelên pêşbînîkirinê girîng be. Tesbîtkirina nirxên derveyî dikare bi rêya dîtbarîkirin, rêbazên IQR, puanên z, û tewra nêzîkatiyên pirguherbar û fêrbûna makîneyê were bidestxistin. Divê birêvebirin çarçove û armancan li ber çavan bigire: verastkirin, têgihîştina sedeman, û dûv re hilbijartina stratejiyek wekî rakirin, veguherandin, sînordarkirina nirxan, an karanîna rêbazên bihêz.
Bi têgihîştineke rast, hejmarên derveyî ne tenê "hejmarên tek" in, lê belê hêmanên girîng ên pratîka îstatîstîkî ne ku dikarin kalîteya analîz û biryarên li ser bingeha daneyan baştir bikin.
