په احصایو کې یو بهرنی څه شی دی؟

په احصایو کې یو بهرنی څه شی دی؟

په احصایو کې، معلومات د پیښو د پوهیدو لپاره لومړني خام مواد دي: د مصرف کونکي چلند، د ازموینې پایلې، د ناروغانو روغتیا، د تولید کیفیت، او حتی اقتصادي رجحانات. په هرصورت، ټول معلوماتي ټکي د اکثریت په څیر "چلند" نه کوي. ځینې وختونه موږ د یو یا ډیرو ارزښتونو سره مخ کیږو چې د نورو معلوماتو سیټ څخه د پام وړ توپیر لري. دا بهرنيان د بهرنيانو په نوم پیژندل کیږي. د بهرنيانو پوهیدل مهم دي ځکه چې دوی کولی شي تحلیلي پایلې بدلې کړي، د وړاندوینې ماډلونه اغیزمن کړي، او حتی د څیړنې ارزښت لرونکي مهمې پیښې په ګوته کړي.

د بهرنیو اړخونو پوهیدل

په ساده ډول، یو بهرنی شاخص یو مشاهده یا د معلوماتو ارزښت دی چې د ډیری معلوماتو څخه د پام وړ توپیر لري. بهرنی شاخصونه کولی شي د عمومي نمونې په پرتله لوړ (ډیر لوړ) یا ټیټ (ډیر ټیټ) وي. د مثال په توګه، که چیرې د زده کونکو د ازموینې ډیری نمرې د 60-90 په حد کې راشي، او د 5 یا 100 یو واحد نمره د پام وړ انحراف وکړي، نو دا نمره باید د بهرنی شاخص په توګه شکمن شي.

دا مهمه ده چې ټینګار وشي: یو بهرنی تل د "غلطي" معنی نلري. یو بهرنی په ساده ډول دا په ګوته کوي چې ارزښت د معلوماتو سیټ په پرتله غیر معمولي دی. بهرنی کولی شي د ننوتلو غلطیو، د اندازه کولو غلطو وسیلو څخه رامینځته شي، یا په ساده ډول نادر مګر د پام وړ ریښتینې نړۍ پیښې منعکس کړي.

ساده مثال

د لسو کسانو د میاشتني عاید معلومات (په ملیون روپیو کې) تصور کړئ:
5، 5، 6، 6، 6، 7، 7، 7، 8، 50

دلته، ۵۰ شمېره د نورو په پرتله په څرګنده توګه څرګندېږي. ایا ۵۰ یوه تېروتنه ده؟ دا کېدای شي غلط لوستل وي (دا باید ۵.۰ وي)، مګر دا هم کېدای شي سم وي ځکه چې سړی د سوداګرۍ لوی مالک دی. په دواړو حالتونو کې، ۵۰ یو بهرنی پاتې کیږي - هغه څه چې توپیر لري دا دی چې موږ یې په تحلیل کې څنګه چلند کوو.

ولې بهرنۍ نښې څرګندېږي؟

د خارجیانو د څرګندیدو لپاره ډیری عام لاملونه شتون لري:

۱. د اندازه کولو یا وسیلې تېروتنه
د مثال په توګه، د تودوخې سینسر ممکن ځینې وختونه د مداخلې له امله خورا ډیر ارزښتونه ولولي.

۲. د معلوماتو په ثبتولو یا داخلولو کې تېروتنې
کلاسیک مثالونه: د ۱۰۰ پر ځای ۱۰۰۰ ټایپ کول، یا غلط واحدونه (سانتي متره په مقابل کې متر).

۳. طبیعي بدلون
په حقیقي نړۍ کې، نادره خو حقیقي پیښې شتون لري: د لوی ترفیع له امله د پلور زیاتوالی، یو ناروغ د درملو په وړاندې غیر معمولي غبرګون لري، یا یو لوبغاړی خورا سخت ریکارډ جوړوي.

۴. په پروسه یا شرایطو کې بدلونونه
د مثال په توګه، یوه فابریکه په یوه ټاکلې ورځ کې د ماشینونو د خرابوالي تجربه کوي، چې د خرابو محصولاتو شمیر په ډراماتیک ډول زیاتوي.

۵. ګډ نفوس
یو ډیټاسیټ ممکن څو مختلف ګروپونه سره یوځای ولري. د مثال په توګه، د منځني ښوونځي او کالج زده کونکو لوړوالی مخلوط دی؛ ځینې "سخت" ارزښتونه ممکن د بې نظمیو له امله نه وي، مګر ځکه چې ډلې واقعیا توپیر لري.

د احصایوي تحلیل په اړه د بهرنیو اغیزو اغیز

بهرنۍ نښې مهمې دي ځکه چې دوی کولی شي د تحلیل پایلې د پام وړ اغیزمنې کړي، په ځانګړې توګه په هغو میتودونو کې چې د سختو ارزښتونو سره حساس وي.

۱. په اوسط (اوسط) اغیزه کوي
اوسط په اسانۍ سره د سختو ارزښتونو لخوا "کش" کیږي. په پورته مثال کې، اوسط به د 50 ارزښت سره د پام وړ لوړ شي، که څه هم ډیری یې شاوخوا 5-8 دي.

۲. معیاري انحراف او توپیر اغیزمن کوي
ځکه چې د توپیر محاسبه د اوسط څخه مربع توپیرونه لري، بهرنیان کولی شي توپیر او معیاري انحراف ته وده ورکړي، داسې ښکاري چې معلومات د دوی په پرتله ډیر "خپور شوي" دي.

۳. د ګډوډۍ ریګریشن او ماشین زده کړې ماډلونه
په خطي ریګریشن کې، بهرنیان کولی شي د ریګریشن کرښه ټیټه کړي، چې د ډیری معلوماتو لپاره وړاندوینې خرابې کوي. په ځینو الګوریتمونو کې، بهرنیان کولی شي ماډل د روزنې پیرامیټرو باندې ډیر فټ یا اغیزه وکړي.

۴. د فرضیې ازموینې اغیزه
بهرنۍ پایلې کولی شي د نورمالیت او د توپیر د یووالي انګیرنې سرغړونه وکړي چې ډیری وختونه په پیرامیټریک ازموینو کې کارول کیږي، نو د احصایوي پایلو تعصب کیږي.

په هرصورت، بهرني توکي هم مهم نښې کیدی شي. د درغلیو په کشف کې، بهرني توکي هغه څه دي چې موږ یې غواړو. په روغتیا پاملرنې کې، د لابراتوار پایلې د پام وړ توپیر کولی شي جدي طبي حالت په ګوته کړي.

څنګه بهرنيان کشف کړو

هیڅ یو "سمه" طریقه نشته. د بهرني کشف کول ډیری وختونه په شرایطو، د معلوماتو ډول، او تحلیلي موخو پورې اړه لري. دلته ځینې عامې طریقې دي:

۱. لیدلوری: بکس پلاټ او سکیټر پلاټ
– بکس پلاټونه د بهرنیانو د موندلو لپاره خورا مشهور دي. په بکس پلاټونو کې، بهرنیان معمولا د هغو ټکو په توګه نښه کیږي چې د ویسکر بکس څخه بهر راځي.
- Scatterplots د دوو متغیرونو ترمنځ په اړیکه کې د پردیو لیدلو کې مرسته کوي، د بیلګې په توګه وزن او قد.

لیدلوری د لومړي ګام په توګه ګټور دی ځکه چې دا چټک او حسي دی.

۲. د IQR (انټرکوارټیل رینج) طریقه
د IQR طریقه ډیری وختونه د واحد متغیر معلوماتو (غیر متغیر) لپاره کارول کیږي.
- د لومړي ربع (څلورم ربع) او دریم ربع (څلورم ربع) محاسبه کړئ
– IQR = Q3 − Q1
– ټیټ حد = Q1 − 1,5 × IQR
– لوړ حد = Q3 + 1,5 × IQR

د دې محدودیتونو څخه بهر ارزښتونه معمولا بهرني ګڼل کیږي. دا طریقه نسبتا پیاوړې ده ځکه چې دا د سختو ارزښتونو لخوا ډیره اغیزمنه نه ده.

۳. د Z-نمره (د اوسط او معیاري انحراف پر بنسټ)
د Z-سکور اندازه کوي چې ارزښت د معیاري انحراف واحدونو کې له اوسط څخه څومره لرې دی.
– z = (x - اوسط) / sd
هغه ارزښتونه چې |z| > 3 (کله ناکله > 2,5) لري ډیری وختونه غیر معمولي ګڼل کیږي.

کمزوري: که چیرې معلومات دمخه لوی بهرني شاخصونه ولري، نو اوسط او sd اغیزمن کیږي نو له همدې امله کشف لږ دقیق کیدی شي.

۴. د ماډل پر بنسټ او څو اړخیزه طریقې
د څو متغیرو معلوماتو لپاره، بهرنۍ برخې تل یوازې په یوه ستون کې نه لیدل کیږي، بلکې د څو متغیرونو په ترکیب کې لیدل کیږي.
– د مهالانوبیس واټن اکثرا د څو اړخیزو بهرنیو عواملو د کشفولو لپاره کارول کیږي.
- په ماشین زده کړه کې، داسې طریقې شتون لري لکه د جلا کولو ځنګل، سیمه ایز بهرنی فکتور (LOF)، یا د یو ټولګي SVM.

دا طریقه د لویو او پیچلو ډیټاسیټونو لپاره مناسبه ده، د بیلګې په توګه د مالي معاملو بې نظمۍ کشف کول.

که تاسو یو غیر معمولي ومومئ نو څه وکړئ؟

غوره عمل دا نه دی چې یوازې یې حذف کړئ. عموما، د بهرنۍ ادارې پروسه څو مرحلې لري:

۱. د معلوماتو تایید
- د غلط داخلولو، نقل کولو، یا غلط واحدونو لپاره وګورئ.
- د اصلي معلوماتو سرچینې سره پرتله کړئ (د مثال په توګه فورمې، د سینسر لاګونه، یا لاسي ریکارډونه).

۲. شرایط درک کړئ
- ایا په ډومین کې سخت ارزښتونه معنی لري؟
- د مثال په توګه، د انسان د بدن د تودوخې درجه ۵۰ درجې سانتي ګراد تقریبا یقینا غلطه ده؛ مګر د ۵۰ ملیون عاید ممکن معقول وي.

۳. د تحلیل هدف وټاکئ
- که هدف د "عمومي" چلند پوهیدل وي، نو ممکن د بهرنیانو سره د دوی د تسلط څخه د مخنیوي لپاره چلند وشي.
- که هدف د نادرو پیښو موندل وي (درغلي، د ماشین ناکامي)، نو اصلي تمرکز بهرنیان دي.

۴. د سمبالولو ستراتیژي غوره کړئ
ځینې ​​عام انتخابونه:
- لرې کول: هغه وخت ترسره کیږي کله چې بهرنۍ برخه تېروتنه ثابته شي او استازیتوب یې نه کوي.
- د معلوماتو بدلون: د مثال په توګه د غیر متناسب معلوماتو لپاره د لاګ بدلون.
- د ګټلو / محدودولو: د ځانګړو سلنو پورې د سختو ارزښتونو محدودول (د مثال په توګه p1 او p99).
- قوي میتودونه وکاروئ: میډین، IQR، قوي ریګریشن، یا د بهرني مقاومت ماډلونه.
- جلا تحلیل: ځینې وختونه دا ډیر مناسب وي چې بهرنيان د ځانګړو قضیو په توګه تحلیل کړئ.

په مهمه توګه، پریکړې باید مستندې شي ترڅو تحلیل شفاف او حساب ورکوونکی وي.

بهرنۍ برخې: ستونزه یا ارزښتناکه معلومات؟

بهرنيان اکثرا "شور" ګڼل کیږي ځکه چې دوی کولی شي احصایوي لنډیزونه تحریف کړي. په هرصورت، په ډیری مواردو کې، بهرنيان د نوي بصیرتونو دروازه ده: د غوره پیرودونکي برخې شتون، د ناروغ حالت چې پاملرنې ته اړتیا لري، د تولید پروسې کې یو نوی پړاو، یا احتمالي درغلۍ. له همدې امله، بهرنيان باید د هغه څه په توګه چلند وشي چې باید وڅیړل شي، نه په اتوماتيک ډول رد شي.

پایله

په احصایو کې یو بهرنی ارزښت هغه ارزښت دی چې د معلوماتو د عمومي نمونې څخه د پام وړ انحراف کوي. بهرنی ارزښتونه د غلطیو، طبیعي توپیر، پروسې بدلونونو، یا د ډیټاسیټ دننه د ګروپ توپیرونو له امله رامینځته کیدی شي. د دوی اغیز کولی شي په اوسط، توپیر، احصایوي ازموینو، او وړاندوینې ماډلونو باندې د پام وړ وي. د بهرنی کشف د لید، IQR میتودونو، z-سکورونو، او حتی څو اړخیزو طریقو او ماشین زده کړې له لارې ترلاسه کیدی شي. اداره کول باید شرایط او اهداف په پام کې ونیسي: تایید کول، د لاملونو پوهیدل، او بیا د ستراتیژۍ غوره کول لکه لرې کول، بدلول، د ارزښتونو محدودول، یا د قوي میتودونو کارول.

د سمې پوهې سره، بهرنيان یوازې "عجیب شمیرې" نه دي، بلکې د احصایوي عمل مهم عناصر دي چې کولی شي د معلوماتو پر بنسټ تحلیل او پریکړو کیفیت ښه کړي.

خپل نظر ورکړۍ