सांख्यिकीमध्ये आउटलायर म्हणजे काय?
सांख्यिकीमध्ये, ग्राहक वर्तन, चाचणी निकाल, रुग्णांचे आरोग्य, उत्पादनाची गुणवत्ता आणि आर्थिक कल यांसारख्या घटना समजून घेण्यासाठी डेटा हा प्राथमिक कच्चा माल असतो. तथापि, सर्वच डेटा पॉइंट्स बहुसंख्य पॉइंट्सप्रमाणे 'वागत' नाहीत. कधीकधी आपल्याला एक किंवा अधिक अशी मूल्ये आढळतात, जी उर्वरित डेटा सेटपेक्षा लक्षणीयरीत्या वेगळी दिसतात. या आउटलायर्सना आउटलायर्स (outliers) म्हणून ओळखले जाते. आउटलायर्स समजून घेणे महत्त्वाचे आहे, कारण ते विश्लेषणात्मक निष्कर्ष बदलू शकतात, भविष्यसूचक मॉडेल्सवर प्रभाव टाकू शकतात आणि तपासण्यायोग्य महत्त्वाच्या घटनांचे संकेतही देऊ शकतात.
अपवादात्मक गोष्टी समजून घेणे
सोप्या भाषेत सांगायचे झाल्यास, आउटलायर म्हणजे असे निरीक्षण किंवा डेटा मूल्य जे बहुसंख्य डेटापेक्षा लक्षणीयरीत्या वेगळे असते. आउटलायर्स सामान्य पॅटर्नपेक्षा जास्त (अत्यंत उच्च) किंवा कमी (अत्यंत कमी) असू शकतात. उदाहरणार्थ, जर बहुसंख्य विद्यार्थ्यांचे परीक्षेतील गुण ६०-९० च्या दरम्यान असतील आणि ५ किंवा १०० चा एखादा गुण लक्षणीयरीत्या वेगळा असेल, तर तो गुण आउटलायर असण्याची शक्यता आहे.
यावर जोर देणे महत्त्वाचे आहे: आउटलायरचा अर्थ नेहमीच 'त्रुटी' असा होत नाही. आउटलायर फक्त हे दर्शवतो की, डेटा सेटच्या तुलनेत ते मूल्य असामान्य आहे. आउटलायर्स इनपुटमधील त्रुटींमुळे, सदोष मापन उपकरणांमुळे उद्भवू शकतात किंवा ते दुर्मिळ परंतु महत्त्वपूर्ण वास्तविक घटनांचे प्रतिबिंब असू शकतात.
साधे उदाहरण
१० लोकांच्या मासिक उत्पन्नाच्या माहितीची (दशलक्ष रुपयांमध्ये) कल्पना करा:
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
येथे, इतरांच्या तुलनेत ५० हा आकडा स्पष्टपणे वेगळा दिसतो. ५० ही एक चूक आहे का? हे चुकीचे वाचन असू शकते (ते ५.० असायला हवे), पण ती व्यक्ती एका मोठ्या व्यवसायाची मालक असल्यामुळे ते बरोबरही असू शकते. दोन्ही बाबतीत, ५० हा एक अपवादात्मक आकडाच राहतो—फरक एवढाच आहे की विश्लेषणात आपण त्याला कसे हाताळतो.
अपवादात्मक प्रकरणे का दिसून येतात?
आउटलायर्स दिसण्याची अनेक सामान्य कारणे आहेत:
१. मोजमाप किंवा उपकरणातील त्रुटी
उदाहरणार्थ, व्यत्ययामुळे तापमान सेन्सर कधीकधी टोकाची मूल्ये दाखवू शकतो.
२. डेटा रेकॉर्ड करताना किंवा इनपुट करताना होणाऱ्या चुका
ठळक उदाहरणे: 100 ऐवजी 1000 टाईप करणे, किंवा चुकीचे एकक (सेमी ऐवजी मीटर).
३. नैसर्गिक भिन्नता
वास्तविक जगात, दुर्मिळ पण वास्तववादी घटना घडतात: मोठ्या प्रमोशनमुळे विक्रीत वाढ होते, एखाद्या रुग्णावर औषधाचा असामान्य परिणाम होतो किंवा एखाद्या खेळाडूने एक अत्यंत विक्रम प्रस्थापित केला आहे.
४. प्रक्रियेत किंवा परिस्थितीत बदल
उदाहरणार्थ, एखाद्या कारखान्यात एका विशिष्ट दिवशी यंत्रात बिघाड होतो, ज्यामुळे सदोष उत्पादनांची संख्या मोठ्या प्रमाणात वाढते.
५. मिश्र लोकसंख्या
एका डेटासेटमध्ये अनेक वेगवेगळे गट एकत्र असू शकतात. उदाहरणार्थ, माध्यमिक शाळा आणि महाविद्यालयीन विद्यार्थ्यांची उंची वेगवेगळी असते; काही "अतिरेकी" मूल्ये विसंगतीमुळे नव्हे, तर ते गट खरोखरच भिन्न असल्यामुळे दिसू शकतात.
सांख्यिकीय विश्लेषणावर आउटलायर्सचा प्रभाव
आउटलायर्स महत्त्वाचे असतात कारण ते विश्लेषणाच्या निकालांवर लक्षणीय परिणाम करू शकतात, विशेषतः अशा पद्धतींमध्ये ज्या टोकाच्या मूल्यांप्रति संवेदनशील असतात.
१. सरासरीवर (मध्यमानावर) परिणाम होतो
टोकाच्या मूल्यांमुळे मध्यक सहजपणे प्रभावित होतो. वरील उत्पन्नाच्या उदाहरणात, जरी बहुसंख्य मूल्ये ५-८ च्या दरम्यान असली तरी, ५० या मूल्यामुळे मध्यक लक्षणीयरीत्या फुगलेला दिसेल.
२. मानक विचलन आणि प्रसरणावर परिणाम होतो
प्रसरण गणनेमध्ये मध्यापासूनच्या वर्ग फरकांचा समावेश असल्यामुळे, बाह्य घटक प्रसरण आणि मानक विचलन वाढवू शकतात, ज्यामुळे डेटा प्रत्यक्षात आहे त्यापेक्षा जास्त "विखुरलेला" आहे असे वाटू शकते.
३. रिग्रेशन आणि मशीन लर्निंग मॉडेल्समध्ये व्यत्यय आणणे
रेषीय प्रतिगमनमध्ये, आउटलायर्स प्रतिगमन रेषेला विचलित करू शकतात, ज्यामुळे बहुतांश डेटासाठी भाकिते चुकीची ठरतात. काही अल्गोरिदममध्ये, आउटलायर्समुळे मॉडेल ओव्हरफिट होऊ शकते किंवा प्रशिक्षण पॅरामीटर्सवर परिणाम होऊ शकतो.
४. प्रभाव गृहीतक चाचणी
आउटलायर्स पॅरामीट्रिक चाचण्यांमध्ये अनेकदा वापरल्या जाणाऱ्या नॉर्मॅलिटी आणि होमोजिनिटी ऑफ व्हेरिएन्सच्या गृहितकांचे उल्लंघन करू शकतात, ज्यामुळे सांख्यिकीय निष्कर्ष पक्षपाती बनतात.
तथापि, अपवादात्मक व्यवहार हे देखील महत्त्वाचे संकेत असू शकतात. फसवणूक शोधण्याच्या प्रक्रियेत, नेमके असेच अपवादात्मक व्यवहार आपल्याला शोधायचे असतात. आरोग्यसेवेमध्ये, प्रयोगशाळेतील लक्षणीयरीत्या भिन्न निकाल एखाद्या गंभीर वैद्यकीय स्थितीचे संकेत देऊ शकतात.
आउटलायर्स कसे ओळखावे
कोणतीही एकच 'योग्य' पद्धत नाही. आउटलायर शोधणे हे अनेकदा संदर्भ, डेटा प्रकार आणि विश्लेषणाच्या उद्दिष्टांवर अवलंबून असते. येथे काही सामान्य पद्धती दिल्या आहेत:
१. दृश्यांकन: बॉक्सप्लॉट आणि स्कॅटरप्लॉट
– आउटलायर्स (असामान्य बिंदू) शोधण्यासाठी बॉक्सप्लॉट्स खूप लोकप्रिय आहेत. बॉक्सप्लॉटमध्ये, आउटलायर्स सहसा व्हिस्कर बॉक्सच्या बाहेर येणाऱ्या बिंदूंनी चिन्हांकित केले जातात.
– स्कॅटरप्लॉट दोन चलांमधील संबंधातील विसंगत बिंदू पाहण्यास मदत करतात, उदाहरणार्थ वजन विरुद्ध उंची.
दृश्यांकन ही पहिली पायरी म्हणून उपयुक्त आहे, कारण ती जलद आणि सहज समजणारी असते.
२. आयक्यूआर (आंतरचतुर्थक श्रेणी) पद्धत
IQR पद्धत बहुतेकदा एकल-चल डेटासाठी (युनिव्हॅरिएट) वापरली जाते.
– Q1 (चतुर्थक 1) आणि Q3 (चतुर्थक 3) ची गणना करा
– IQR = Q3 − Q1
– खालची मर्यादा = Q1 − 1,5 × IQR
– उच्च मर्यादा = Q3 + 1,5 × IQR
या मर्यादांच्या बाहेरील मूल्यांना सामान्यतः आउटलायर्स मानले जाते. ही पद्धत तुलनेने मजबूत आहे कारण तिच्यावर टोकाच्या मूल्यांचा फारसा परिणाम होत नाही.
३. झेड-स्कोर (मध्यक आणि प्रमाण विचलनावर आधारित)
झेड-स्कोर हे प्रमाणित विचलनाच्या एककांमध्ये, एखादे मूल्य मध्यापासून किती दूर आहे हे मोजते.
– z = (x − मध्यमान) / प्रमाण विचलन
|z| > 3 (कधीकधी > 2,5) असलेल्या किमती अनेकदा आउटलायर्स मानल्या जातात.
कमतरता: जर डेटामध्ये आधीपासूनच मोठे आउटलायर्स असतील, तर सरासरी आणि प्रमाण विचलन प्रभावित होतात, ज्यामुळे डिटेक्शनची अचूकता कमी होऊ शकते.
४. मॉडेल-आधारित आणि बहुचर पद्धती
बहु-चलांच्या डेटामध्ये, आउटलायर्स नेहमी फक्त एकाच कॉलममध्ये दिसत नाहीत, तर अनेक चलांच्या संयोजनात दिसतात.
– महालनोबिस अंतराचा उपयोग अनेकदा बहुचरीय बाह्यबिंदू शोधण्यासाठी केला जातो.
– मशीन लर्निंगमध्ये आयसोलेशन फॉरेस्ट, लोकल आउटलायर फॅक्टर (LOF) किंवा वन-क्लास SVM सारखे दृष्टिकोन आहेत.
ही पद्धत मोठ्या आणि गुंतागुंतीच्या डेटासेटसाठी, उदाहरणार्थ आर्थिक व्यवहारांमधील विसंगती शोधण्यासाठी, योग्य आहे.
एखादा अपवादात्मक घटक आढळल्यास काय करावे?
त्यांना सरळ काढून टाकणे हा सर्वोत्तम उपाय नाही. सर्वसाधारणपणे, आउटलायर हाताळण्याच्या प्रक्रियेमध्ये अनेक टप्पे समाविष्ट असतात:
१. डेटा पडताळणी
– चुकीचे इनपुट, पुनरावृत्ती किंवा चुकीचे एकक तपासा.
– मूळ डेटा स्रोताशी तुलना करा (उदा. फॉर्म, सेन्सर लॉग किंवा हस्तलिखित नोंदी).
२. संदर्भ समजून घ्या
– या क्षेत्रात टोकाची मूल्ये अर्थपूर्ण आहेत का?
– उदाहरणार्थ, मानवी शरीराचे ५०°C तापमान हे जवळजवळ निश्चितच चुकीचे आहे; परंतु ५ कोटींचे उत्पन्न वाजवी असू शकते.
३. विश्लेषणाचा उद्देश निश्चित करा.
– जर ‘सर्वसाधारण’ वर्तन समजून घेण्याचे उद्दिष्ट असेल, तर अपवादात्मक प्रकरणांना प्रभावी होण्यापासून रोखण्यासाठी त्यांना हाताळण्याची गरज भासू शकते.
– जर दुर्मिळ घटना (फसवणूक, यंत्रातील बिघाड) शोधण्याचे उद्दिष्ट असेल, तर अपवादात्मक घटनांवर मुख्य लक्ष केंद्रित केले जाते.
४. हाताळणीची रणनीती निवडा
काही सामान्य पर्याय:
– काढून टाकणे: जर आउटलायर ही एक त्रुटी असल्याचे आणि प्रातिनिधिक नसल्याचे सिद्ध झाल्यास हे केले जाते.
– डेटा रूपांतरण: उदाहरणार्थ, विषम डेटासाठी लॉग रूपांतरण.
– विन्सोरायझिंग / कॅपिंग : टोकाच्या मूल्यांना विशिष्ट पर्सेंटाईलपर्यंत (उदा. p1 आणि p99) मर्यादित करणे.
– मजबूत पद्धती वापरा: मीडियन, आयक्यूआर, रोबस्ट रिग्रेशन, किंवा आउटलायर-रेझिस्टंट मॉडेल्स.
– स्वतंत्र विश्लेषण: काहीवेळा अपवादात्मक प्रकरणांचे विशेष प्रकरणे म्हणून विश्लेषण करणे अधिक योग्य ठरते.
सर्वात महत्त्वाचे म्हणजे, निर्णयांची नोंद केली पाहिजे जेणेकरून विश्लेषण पारदर्शक आणि उत्तरदायी असेल.
अपवादात्मक बाबी: समस्या की मौल्यवान माहिती?
आउटलायर्सना अनेकदा 'गोंधळ' मानले जाते, कारण ते सांख्यिकीय सारांशांना विकृत करू शकतात. तथापि, बऱ्याच प्रकरणांमध्ये, आउटलायर्स हे नवीन अंतर्दृष्टी मिळवण्याचे प्रवेशद्वार असतात: जसे की एका प्रीमियम ग्राहक वर्गाचे अस्तित्व, लक्ष देण्याची गरज असलेली रुग्णाची स्थिती, उत्पादन प्रक्रियेतील एक नवीन टप्पा किंवा संभाव्य फसवणूक. त्यामुळे, आउटलायर्सना आपोआप नाकारण्याऐवजी, त्यांची चौकशी करणे आवश्यक आहे असे मानले पाहिजे.
निष्कर्ष
सांख्यिकीमध्ये आउटलायर म्हणजे असे मूल्य जे डेटाच्या सामान्य आकृतिबंधापासून लक्षणीयरीत्या विचलित होते. डेटासेटमधील त्रुटी, नैसर्गिक बदल, प्रक्रियेतील बदल किंवा गटांमधील फरकांमुळे आउटलायर्स निर्माण होऊ शकतात. त्यांचा परिणाम मध्यमान, विचलन, सांख्यिकीय चाचण्या आणि भविष्यसूचक मॉडेल्सवर महत्त्वपूर्ण असू शकतो. आउटलायर शोधणे हे व्हिज्युअलायझेशन, IQR पद्धती, झेड-स्कोअर्स आणि अगदी बहुचलीय दृष्टिकोन व मशीन लर्निंगद्वारे साध्य केले जाऊ शकते. हाताळणी करताना संदर्भ आणि उद्दिष्टांचा विचार करणे आवश्यक आहे: पडताळणी करणे, कारणे समजून घेणे आणि नंतर काढून टाकणे, रूपांतरित करणे, मूल्ये मर्यादित करणे किंवा मजबूत पद्धती वापरणे यासारखी रणनीती निवडणे.
योग्य समज असल्यास, आउटलायर्स म्हणजे केवळ 'विषम संख्या' नसून, ते सांख्यिकीय पद्धतीचे महत्त्वाचे घटक आहेत जे डेटा-आधारित विश्लेषण आणि निर्णयांची गुणवत्ता सुधारू शकतात.
