شماريات ۾ آئوٽليئر ڇا آهي؟
انگن اکرن ۾، ڊيٽا رجحان کي سمجهڻ لاءِ بنيادي خام مال آهي: صارفين جو رويو، ٽيسٽ جا نتيجا، مريض جي صحت، پيداوار جي معيار، ۽ حتي معاشي رجحانات. بهرحال، سڀئي ڊيٽا پوائنٽ اڪثريت وانگر "رويو" نه ڪندا آهن. ڪڏهن ڪڏهن اسان هڪ يا وڌيڪ قدرن سان منهن ڏيون ٿا جيڪي باقي ڊيٽا سيٽ کان خاص طور تي مختلف نظر اچن ٿا. انهن آئوٽليئرز کي آئوٽليئرز طور سڃاتو وڃي ٿو. آئوٽليئرز کي سمجهڻ ضروري آهي ڇاڪاڻ ته اهي تجزياتي نتيجن کي تبديل ڪري سگهن ٿا، اڳڪٿي ڪندڙ ماڊلز کي متاثر ڪري سگهن ٿا، ۽ تحقيق جي لائق اهم واقعن کي به ظاهر ڪري سگهن ٿا.
ٻاهرين ڳالهين کي سمجهڻ
سادي لفظن ۾، هڪ آئوٽليئر هڪ مشاهدو يا ڊيٽا ويليو آهي جيڪو ڊيٽا جي اڪثريت کان خاص طور تي مختلف آهي. آئوٽليئر عام نموني کان وڌيڪ (انتهائي وڌيڪ) يا گهٽ (انتهائي گهٽ) ٿي سگهن ٿا. مثال طور، جيڪڏهن شاگردن جي اڪثريت جا ٽيسٽ اسڪور 60-90 جي حد ۾ اچن ٿا، ۽ 5 يا 100 جو هڪ اسڪور خاص طور تي انحراف ڪري ٿو، ته ان اسڪور کي آئوٽليئر طور شڪ ڪيو وڃي.
اهو زور ڏيڻ ضروري آهي: هڪ آئوٽليئر جو مطلب هميشه "غلطي" ناهي. هڪ آئوٽليئر صرف اهو ظاهر ڪري ٿو ته ڊيٽا سيٽ جي مقابلي ۾ قدر غير معمولي آهي. آئوٽليئر ان پٽ غلطين، ناقص ماپڻ وارن اوزارن مان پيدا ٿي سگهن ٿا، يا صرف نادر پر اهم حقيقي دنيا جي واقعن کي ظاهر ڪن ٿا.
سادي مثال
تصور ڪريو 10 ماڻهن جي ماهوار آمدني جو ڊيٽا (ملين روپين ۾):
5، 5، 6، 6، 6، 7، 7، 7، 8، 50
هتي، 50 جو انگ ٻين جي مقابلي ۾ واضح طور تي نمايان آهي. ڇا 50 هڪ غلطي آهي؟ اهو غلط پڙهڻ ٿي سگهي ٿو (اهو 5,0 هجڻ گهرجي)، پر اهو صحيح پڻ ٿي سگهي ٿو ڇاڪاڻ ته اهو شخص هڪ وڏو ڪاروباري مالڪ آهي. ٻنهي صورتن ۾، 50 هڪ ٻاهريون حصو رهي ٿو - جيڪو مختلف آهي اهو آهي ته اسان ان کي تجزيو ۾ ڪيئن علاج ڪريون ٿا.
ٻاهرين شيون ڇو ظاهر ٿين ٿيون؟
ٻاهرين ماڻهن جي ظاهر ٿيڻ جا ڪيترائي عام سبب آهن:
1. ماپ يا اوزار جي غلطي
مثال طور، هڪ گرمي پد سينسر ڪڏهن ڪڏهن مداخلت جي ڪري انتهائي قدر پڙهي سگهي ٿو.
2. ڊيٽا رڪارڊ ڪرڻ يا داخل ڪرڻ ۾ غلطيون
ڪلاسيڪل مثال: 100 جي بدران 1000 ٽائيپ ڪرڻ، يا غلط يونٽ (سينٽي ميٽر بمقابله ميٽر).
3. قدرتي تبديلي
حقيقي دنيا ۾، اهڙا ناياب پر حقيقي واقعا آهن: وڏي پروموشن جي ڪري سيلز ۾ اضافو، هڪ مريض جو دوا تي غير معمولي ردعمل، يا هڪ رانديگر انتهائي رڪارڊ قائم ڪري ٿو.
4. عمل يا حالتن ۾ تبديليون
مثال طور، هڪ ڪارخاني ۾ ڪنهن خاص ڏينهن تي مشين جي ناڪامي ٿيندي آهي، جنهن جي ڪري خراب شين جو تعداد تمام گهڻو وڌي ويندو آهي.
5. مخلوط آبادي
هڪ ڊيٽاسيٽ ۾ ڪيترائي مختلف گروپ شامل ٿي سگهن ٿا. مثال طور، مڊل اسڪول ۽ ڪاليج جي شاگردن جي اوچائي ملايو ويو آهي؛ ڪجهه "انتهائي" قدر غير معموليات جي ڪري نه، پر ان ڪري ظاهر ٿي سگهن ٿا ڇاڪاڻ ته گروپ واقعي مختلف آهن.
شمارياتي تجزيي تي آئوٽليئرز جو اثر
آئوٽليئر اهم آهن ڇاڪاڻ ته اهي تجزيي جي نتيجن کي خاص طور تي متاثر ڪري سگهن ٿا، خاص طور تي طريقن ۾ جيڪي انتهائي قدرن سان حساس آهن.
1. سراسري (اوسط) کي متاثر ڪري ٿو
سراسري کي انتهائي قدرن سان آساني سان "ڇڪيو" ويندو آهي. مٿي ڏنل آمدني جي مثال ۾، سراسري کي 50 جي قدر سان خاص طور تي وڌايو ويندو، جيتوڻيڪ اڪثريت 5-8 جي چوڌاري آهي.
2. معياري انحراف ۽ فرق کي متاثر ڪري ٿو
ڇاڪاڻ ته ويرينس جي حسابن ۾ اوسط کان چورس فرق شامل آهن، آئوٽليئر ويرينس ۽ معياري انحراف کي وڌائي سگهن ٿا، اهو لڳي ٿو ته ڊيٽا اصل کان وڌيڪ "پکڙيل" آهن.
3. پريشان ڪندڙ ريگريشن ۽ مشين لرننگ ماڊل
لڪير واري رجعت ۾، آئوٽليئرز رجعت واري لڪير کي اسڪو ڪري سگهن ٿا، جنهن جي ڪري ڊيٽا جي اڪثريت لاءِ اڳڪٿيون خراب ٿي سگهن ٿيون. ڪجهه الگورتھم ۾، آئوٽليئرز ماڊل کي اوور فٽ ڪرڻ يا تربيتي پيرا ميٽرز کي متاثر ڪرڻ جو سبب بڻجي سگهن ٿا.
4. مفروضي جي جاچ تي اثر انداز ٿيو
آئوٽليئرز عاميت ۽ هڪجهڙائي جي مفروضن جي خلاف ورزي ڪري سگهن ٿا جيڪي اڪثر پيراميٽرڪ ٽيسٽن ۾ استعمال ٿيندا آهن، تنهن ڪري شمارياتي نتيجا جانبدار ٿي ويندا آهن.
جڏهن ته، آئوٽليئر پڻ اهم سگنل ٿي سگهن ٿا. فراڊ جي ڳولا ۾، آئوٽليئر ٽرانزيڪشن بلڪل اهي آهن جيڪي اسان ڳولڻ چاهيون ٿا. صحت جي سار سنڀال ۾، خاص طور تي مختلف ليبارٽري نتيجا هڪ سنگين طبي حالت جي نشاندهي ڪري سگهن ٿا.
ٻاهرين ماڻهن کي ڪيئن سڃاڻجي
ڪو به هڪ "صحيح" طريقو ناهي. ٻاهرين سڃاڻپ اڪثر ڪري حوالي، ڊيٽا جي قسم، ۽ تجزيو جي مقصدن تي منحصر آهي. هتي ڪجهه عام طريقا آهن:
1. بصري ڪرڻ: باڪس پلاٽ ۽ اسڪيٽر پلاٽ
- باڪس پلاٽ ٻاهرين ماڻهن کي ڳولڻ لاءِ تمام گهڻا مشهور آهن. هڪ باڪس پلاٽ ۾، ٻاهرين ماڻهن کي عام طور تي پوائنٽن جي طور تي نشان لڳايو ويندو آهي جيڪي ويسڪر باڪس کان ٻاهر اچن ٿا.
- اسڪيٽر پلاٽس ٻن متغيرن جي وچ ۾ تعلق ۾ ٻاهرين عنصرن کي ڏسڻ ۾ مدد ڪن ٿا، مثال طور وزن بمقابله قد.
بصري ڪرڻ پهرين قدم طور ڪارآمد آهي ڇاڪاڻ ته اهو تيز ۽ وجداني آهي.
2. IQR (انٽرڪوارٽائل رينج) طريقو
IQR طريقو اڪثر ڪري سنگل-متغير ڊيٽا (يونيوريئيٽ) لاءِ استعمال ٿيندو آهي.
- Q1 (چوٿون 1) ۽ Q3 (چوٿون 3) جو حساب ڪريو
– آئي ڪيو آر = سوال 3 − سوال 1
- هيٺين حد = Q1 − 1,5 × IQR
- مٿئين حد = Q3 + 1,5 × IQR
انهن حدن کان ٻاهر قدرن کي عام طور تي ٻاهريون سمجهيو ويندو آهي. هي طريقو نسبتاً مضبوط آهي ڇاڪاڻ ته اهو انتهائي قدرن کان گهڻو متاثر نه ٿيندو آهي.
3. Z-اسڪور (مطلب ۽ معياري انحراف جي بنياد تي)
Z-اسڪور ماپ ڪري ٿو ته معياري انحراف يونٽن ۾ هڪ قدر اوسط کان ڪيترو پري آهي.
- ز = (x - اوسط) / ايس ڊي
|z| > 3 (ڪڏهن ڪڏهن > 2,5) سان قدر اڪثر ڪري ٻاهر سمجهيا ويندا آهن.
ڪمزوري: جيڪڏهن ڊيٽا ۾ اڳ ۾ ئي وڏا آئوٽليئر شامل آهن، ته پوءِ اوسط ۽ ايس ڊي متاثر ٿين ٿا ته جيئن ڳولا گهٽ صحيح ٿي سگهي.
4. ماڊل تي ٻڌل ۽ گھڻائي وارا طريقا
گھڻ-متغير ڊيٽا لاءِ، آئوٽليئر هميشه صرف هڪ ڪالم ۾ نظر نه ايندا آهن، پر ڪيترن ئي متغيرن جي ميلاپ ۾.
- مهلانوبس جو مفاصلو اڪثر ڪري گھڻ-متغير آئوٽليئرز کي ڳولڻ لاءِ استعمال ڪيو ويندو آهي.
- مشين لرننگ ۾، آئسوليشن فاريسٽ، لوڪل آئوٽليئر فيڪٽر (LOF)، يا ون ڪلاس SVM جهڙا طريقا آهن.
هي طريقو وڏي ۽ پيچيده ڊيٽاسيٽس لاءِ موزون آهي، مثال طور مالي ٽرانزيڪشن انوملي جي ڳولا.
جيڪڏهن توهان کي ڪا غير معمولي ڳالهه ملي ته ڇا ڪجي؟
بهترين عمل صرف انهن کي ختم ڪرڻ ناهي. عام طور تي، ٻاهرين سنڀال جي عمل ۾ ڪيترائي مرحلا شامل آهن:
1. ڊيٽا جي تصديق
- غلط ان پٽ، نقل، يا غلط يونٽن جي جانچ ڪريو.
- اصل ڊيٽا ماخذ سان مقابلو ڪريو (مثال طور فارم، سينسر لاگ، يا دستي رڪارڊ).
2. تناظر کي سمجھو
- ڇا ڊومين ۾ انتهائي قدر سمجهه ۾ اچن ٿا؟
- مثال طور، انساني جسم جو گرمي پد 50 ڊگري سينٽي گريڊ تقريبن يقيني طور تي غلط آهي؛ پر 50 ملين جي آمدني مناسب ٿي سگهي ٿي.
3. تجزيو جو مقصد طئي ڪريو
- جيڪڏهن مقصد "عام" رويي کي سمجهڻ آهي، ته پوءِ ٻاهرين ماڻهن کي غالب ٿيڻ کان روڪڻ لاءِ انهن کي سنڀالڻ جي ضرورت پوندي.
- جيڪڏهن مقصد ناياب واقعن (فراڊ، مشين جي ناڪامي) کي ڳولڻ آهي، ته پوءِ ٻاهرين ماڻهو مکيه مرڪز آهن.
4. سنڀالڻ جي حڪمت عملي چونڊيو
ڪجھ عام آپشن:
- هٽائڻ: جيڪڏهن ٻاهريون حصو غلطي ثابت ٿئي ۽ نمائندگي نه ڪري ته اهو ڪيو ويندو.
- ڊيٽا ٽرانسفارميشن: مثال طور اسڪيو ٿيل ڊيٽا لاءِ لاگ ٽرانسفارم.
- ونسورائيزنگ / ڪيپنگ: انتهائي قدرن کي ڪجهه فيصد تائين محدود ڪرڻ (مثال طور p1 ۽ p99).
- مضبوط طريقا استعمال ڪريو: وچين، IQR، مضبوط رجعت، يا ٻاهرين مزاحمتي ماڊل.
- الڳ تجزيو: ڪڏهن ڪڏهن خاص ڪيسن جي طور تي ٻاهرين ماڻهن جو تجزيو ڪرڻ وڌيڪ مناسب هوندو آهي.
اهم ڳالهه اها آهي ته، فيصلا دستاويزي هجڻ گهرجن ته جيئن تجزيو شفاف ۽ جوابده هجي.
ٻاهريون ڳالهيون: مسئلو يا قيمتي معلومات؟
آئوٽليئرز کي اڪثر "شور" سمجهيو ويندو آهي ڇاڪاڻ ته اهي شمارياتي خلاصن کي خراب ڪري سگهن ٿا. جڏهن ته، ڪيترن ئي ڪيسن ۾، آئوٽليئرز نئين بصيرت جو دروازو آهن: هڪ پريميئم گراهڪ حصي جو وجود، هڪ مريض جي حالت جنهن تي ڌيان ڏيڻ جي ضرورت آهي، پيداوار جي عمل ۾ هڪ نئون مرحلو، يا امڪاني فراڊ. تنهن ڪري، آئوٽليئرز کي اهڙي شيءِ طور سمجهيو وڃي جنهن جي جاچ ڪرڻ جي ضرورت آهي، نه ته پاڻمرادو رد ڪيو وڃي.
نتيجو
شماريات ۾ هڪ آئوٽليئر هڪ قدر آهي جيڪا ڊيٽا جي عام نموني کان خاص طور تي انحراف ڪري ٿي. آئوٽليئر غلطين، قدرتي تبديلي، عمل جي تبديلين، يا ڊيٽا سيٽ اندر گروپ جي فرقن جي ڪري پيدا ٿي سگهن ٿا. انهن جو اثر اوسط، ويرينس، شمارياتي ٽيسٽ، ۽ اڳڪٿي ڪندڙ ماڊلز تي اهم ٿي سگهي ٿو. آئوٽليئر جي سڃاڻپ بصري، IQR طريقن، z-اسڪور، ۽ حتي گھڻ-متغير طريقن ۽ مشين لرننگ ذريعي حاصل ڪري سگهجي ٿي. هينڊلنگ کي تناظر ۽ مقصدن تي غور ڪرڻ گهرجي: تصديق ڪرڻ، سببن کي سمجهڻ، ۽ پوءِ حڪمت عملي چونڊڻ جهڙوڪ قدرن کي هٽائڻ، تبديل ڪرڻ، محدود ڪرڻ، يا مضبوط طريقا استعمال ڪرڻ.
صحيح سمجھ سان، آئوٽليئر صرف "عجيب انگ" نه آهن، پر شمارياتي عمل جا اهم عنصر آهن جيڪي ڊيٽا تي ٻڌل تجزيو ۽ فيصلن جي معيار کي بهتر بڻائي سگهن ٿا.
