புள்ளியியலில் புறநிலைப்புள்ளி என்றால் என்ன?

புள்ளியியலில் புறநிலைப்புள்ளி என்றால் என்ன?

புள்ளியியலில், நுகர்வோர் நடத்தை, சோதனை முடிவுகள், நோயாளியின் ஆரோக்கியம், உற்பத்தித் தரம் மற்றும் பொருளாதாரப் போக்குகள் போன்ற நிகழ்வுகளைப் புரிந்துகொள்வதற்கான முதன்மை மூலப்பொருள் தரவுகளாகும். இருப்பினும், எல்லாத் தரவுப் புள்ளிகளும் பெரும்பான்மையைப் போலச் செயல்படுவதில்லை. சில சமயங்களில், தரவுத் தொகுப்பின் மற்ற பகுதிகளிலிருந்து குறிப்பிடத்தக்க அளவு வேறுபட்டுத் தோன்றும் ஒன்று அல்லது அதற்கு மேற்பட்ட மதிப்புகளை நாம் காண்கிறோம். இந்தத் தனித்த தரவுப் புள்ளிகள், புறவயப் புள்ளிகள் (outliers) என்று அழைக்கப்படுகின்றன. புறவயப் புள்ளிகளைப் புரிந்துகொள்வது முக்கியமானது, ஏனெனில் அவை பகுப்பாய்வு முடிவுகளை மாற்றக்கூடும், முன்கணிப்பு மாதிரிகளைப் பாதிக்கக்கூடும், மேலும் ஆய்வு செய்யத் தகுந்த முக்கியமான நிகழ்வுகளைக் கூட சுட்டிக்காட்டக்கூடும்.

விதிவிலக்குகளைப் புரிந்துகொள்ளுதல்

சுருக்கமாகச் சொன்னால், ஒரு புறமதிப்பு என்பது பெரும்பாலான தரவுகளிலிருந்து கணிசமாக வேறுபடும் ஒரு தரவு அல்லது அவதானிப்பு மதிப்பாகும். புறமதிப்புகள் பொதுவான போக்கை விட அதிகமாகவோ (மிகவும் அதிகமாக) அல்லது குறைவாகவோ (மிகவும் குறைவாக) இருக்கலாம். உதாரணமாக, பெரும்பாலான மாணவர்களின் தேர்வு மதிப்பெண்கள் 60–90 வரம்பில் இருக்கும்போது, ​​5 அல்லது 100 என்ற ஒற்றை மதிப்பெண் மட்டும் கணிசமாக வேறுபட்டால், அந்த மதிப்பெண் ஒரு புறமதிப்பாக இருக்கலாம் எனச் சந்தேகிக்கப்பட வேண்டும்.

வலியுறுத்த வேண்டிய ஒரு முக்கியமான விஷயம்: ஒரு புறமதிப்பு என்பது எப்போதும் ஒரு "பிழை" என்று பொருளல்ல. ஒரு புறமதிப்பு என்பது, தரவுத் தொகுப்புடன் ஒப்பிடும்போது ஒரு மதிப்பு வழக்கத்திற்கு மாறாக உள்ளது என்பதை மட்டுமே குறிக்கிறது. உள்ளீட்டுப் பிழைகள், குறைபாடுள்ள அளவீட்டுக் கருவிகள் ஆகியவற்றால் புறமதிப்புகள் ஏற்படலாம், அல்லது அவை அரிதான ஆனால் குறிப்பிடத்தக்க நிஜ உலக நிகழ்வுகளைப் பிரதிபலிக்கலாம்.

எளிய உதாரணம்

10 நபர்களின் மாத வருமானத் தரவுகளை (மில்லியன் ரூபாயில்) கற்பனை செய்து பாருங்கள்:
5, 5, 6, 6, 6, 7, 7, 7, 8, 50

இங்கே, மற்ற எண்களுடன் ஒப்பிடும்போது 50 என்ற எண் தனித்துத் தெரிகிறது. 50 ஒரு பிழையா? அது தவறாகப் படிக்கப்பட்டிருக்கலாம் (அது 5,0 ஆக இருக்க வேண்டும்), ஆனால் அந்த நபர் ஒரு பெரிய வணிகத்தின் உரிமையாளராக இருப்பதால் அது சரியாகவும் இருக்கலாம். இரண்டு சந்தர்ப்பங்களிலும், 50 ஒரு புறவயமான மதிப்பாகவே உள்ளது—பகுப்பாய்வில் நாம் அதை எவ்வாறு கையாளுகிறோம் என்பதுதான் இதில் உள்ள வேறுபாடு.

விதிவிலக்குகள் ஏன் தோன்றுகின்றன?

புறத்தன்மை மதிப்புகள் தோன்றுவதற்குப் பல பொதுவான காரணங்கள் உள்ளன:

1. அளவீடு அல்லது கருவிப் பிழை
உதாரணமாக, குறுக்கீடு காரணமாக ஒரு வெப்பநிலை உணரி சில சமயங்களில் மிக அதிக மதிப்புகளைக் காட்டக்கூடும்.

2. தரவைப் பதிவு செய்வதில் அல்லது உள்ளிடுவதில் ஏற்படும் பிழைகள்
சிறந்த உதாரணங்கள்: 100 என்பதற்குப் பதிலாக 1000 எனத் தட்டச்சு செய்வது, அல்லது தவறான அலகுகளைப் பயன்படுத்துவது (சென்டிமீட்டருக்குப் பதிலாக மீட்டர்).

3. இயற்கையான மாறுபாடு
நிஜ உலகில், அரிதான ஆனால் யதார்த்தமான நிகழ்வுகள் உள்ளன: ஒரு பெரிய விளம்பரத்தால் விற்பனை திடீரென அதிகரிப்பது, ஒரு நோயாளி மருந்துக்கு அசாதாரணமான முறையில் எதிர்வினையாற்றுவது, அல்லது ஒரு விளையாட்டு வீரர் உச்சகட்ட சாதனை படைப்பது போன்றவை.

4. செயல்முறை அல்லது நிபந்தனைகளில் ஏற்படும் மாற்றங்கள்
உதாரணமாக, ஒரு தொழிற்சாலையில் ஒரு குறிப்பிட்ட நாளில் இயந்திரம் பழுதடைவதால், குறைபாடுள்ள பொருட்களின் எண்ணிக்கை பெருமளவில் அதிகரிக்கிறது.

5. கலப்பு மக்கள்தொகை
ஒரு தரவுத்தொகுப்பில் பல வேறுபட்ட குழுக்கள் இணைந்திருக்கலாம். எடுத்துக்காட்டாக, நடுநிலைப் பள்ளி மற்றும் கல்லூரி மாணவர்களின் உயரங்கள் கலந்திருக்கும்; சில "தீவிர" மதிப்புகள் முரண்பாடுகளால் தோன்றாமல், குழுக்கள் உண்மையாகவே வேறுபட்டிருப்பதால் தோன்றக்கூடும்.

புள்ளிவிவரப் பகுப்பாய்வில் புறத்தன்மை மதிப்புகளின் தாக்கம்

புறமதிப்புகள் முக்கியமானவை, ஏனெனில் அவை ஒரு பகுப்பாய்வின் முடிவுகளைக் கணிசமாகப் பாதிக்கக்கூடும், குறிப்பாக உச்சபட்ச மதிப்புகளுக்கு உணர்திறன் கொண்ட முறைகளில்.

1. சராசரியைப் (சராசரியை) பாதிக்கிறது
உச்சபட்ச மதிப்புகளால் சராசரியை எளிதில் பாதிக்க முடியும். மேலே உள்ள வருமான உதாரணத்தில், பெரும்பான்மையான மதிப்புகள் 5 முதல் 8 வரை இருந்தாலும், 50 என்ற மதிப்பால் சராசரி கணிசமாகப் பெருக்கப்படும்.

2. திட்ட விலகல் மற்றும் மாறுபாட்டைப் பாதிக்கிறது
மாறுபாட்டுக் கணக்கீடுகள் சராசரியிலிருந்து வர்க்க வேறுபாடுகளை உள்ளடக்கியிருப்பதால், புறமதிப்புகள் மாறுபாட்டையும் திட்ட விலக்கத்தையும் அதிகரிக்கக்கூடும். இதனால், தரவுகள் உண்மையில் இருப்பதை விட அதிகமாகப் பரவியிருப்பது போல் தோன்றும்.

3. பின்னடைவு மற்றும் இயந்திர கற்றல் மாதிரிகளைச் சீர்குலைத்தல்
நேரியல் பின்னடைவில், புறத்தன்மைத் தரவுகள் பின்னடைவுக் கோட்டைச் சிதைக்கக்கூடும், இதனால் பெரும்பாலான தரவுகளுக்கான கணிப்புகள் மோசமாகின்றன. சில நெறிமுறைகளில், புறத்தன்மைத் தரவுகள் மாதிரியை மிகையாகப் பொருத்தவோ அல்லது பயிற்சி அளவுருக்களைப் பாதிக்கவோ காரணமாகலாம்.

4. செல்வாக்கு கருதுகோள் சோதனை
அளவுரு சோதனைகளில் அடிக்கடி பயன்படுத்தப்படும் இயல்புநிலை மற்றும் மாறுபாட்டின் ஒருபடித்தன்மை ஆகிய அனுமானங்களை புறத்தன்மை மதிப்புகள் மீறக்கூடும், அதனால் புள்ளிவிவர முடிவுகள் சார்புடையதாக ஆகின்றன.

இருப்பினும், இயல்புக்கு மாறான தரவுகளும் முக்கியமான சமிக்ஞைகளாக இருக்கக்கூடும். மோசடி கண்டறிதலில், இயல்புக்கு மாறான பரிவர்த்தனைகளைத்தான் நாம் துல்லியமாகத் தேட விரும்புகிறோம். சுகாதாரத் துறையில், கணிசமாக வேறுபட்ட ஆய்வக முடிவுகள் ஒரு தீவிரமான மருத்துவ நிலையைக் குறிக்கக்கூடும்.

அசாதாரணமான தரவுகளைக் கண்டறிவது எப்படி

சரியான ஒரே ஒரு வழிமுறை என்று எதுவும் இல்லை. புறநிலைத் தரவுகளைக் கண்டறிவது பெரும்பாலும் சூழல், தரவு வகை மற்றும் பகுப்பாய்வு நோக்கங்களைப் பொறுத்து அமைகிறது. சில பொதுவான வழிமுறைகள் இங்கே கொடுக்கப்பட்டுள்ளன:

1. காட்சிப்படுத்தல்: பெட்டி வரைபடம் மற்றும் சிதறல் வரைபடம்
– புறத்தன்மைப் புள்ளிகளைக் கண்டறிவதற்குப் பெட்டி வரைபடங்கள் மிகவும் பிரபலமானவை. ஒரு பெட்டி வரைபடத்தில், மீசைப் பெட்டிக்கு வெளியே விழும் புள்ளிகள் பொதுவாகப் புறத்தன்மைப் புள்ளிகளாகக் குறிக்கப்படுகின்றன.
– சிதறல் வரைபடங்கள், இரண்டு மாறிகளுக்கு இடையிலான தொடர்பில் உள்ள புறம்பான தரவுகளைக் கண்டறிய உதவுகின்றன; எடுத்துக்காட்டாக, எடை மற்றும் உயரம்.

காட்சிப்படுத்தல் ஒரு முதல் படியாகப் பயனுள்ளது, ஏனெனில் அது விரைவானது மற்றும் உள்ளுணர்வு சார்ந்தது.

2. IQR (இடைக்கால் வீச்சு) முறை
IQR முறையானது பெரும்பாலும் ஒற்றை மாறித் தரவுகளுக்கு (ஒருபரிமாண) பயன்படுத்தப்படுகிறது.
– Q1 (முதல் கால்மானம்) மற்றும் Q3 (மூன்றாம் கால்மானம்) ஆகியவற்றைக் கணக்கிடுங்கள்.
– IQR = Q3 − Q1
– கீழ் எல்லை = Q1 − 1,5 × IQR
– மேல் வரம்பு = Q3 + 1,5 × IQR

இந்த வரம்புகளுக்கு அப்பாற்பட்ட மதிப்புகள் பொதுவாக புறமதிப்புகளாகக் கருதப்படுகின்றன. இந்த முறை ஒப்பீட்டளவில் உறுதியானது, ஏனெனில் இது உச்சபட்ச மதிப்புகளால் பெரிதாகப் பாதிக்கப்படுவதில்லை.

3. Z-மதிப்பு (சராசரி மற்றும் திட்ட விலகலின் அடிப்படையில்)
Z-மதிப்பு என்பது, ஒரு மதிப்பு சராசரியிலிருந்து திட்ட விலக்க அலகுகளில் எவ்வளவு தூரம் விலகி உள்ளது என்பதை அளவிடுகிறது.
– z = (x − சராசரி) / திட்ட விலகல்
|z| > 3 (சில நேரங்களில் > 2,5) உள்ள மதிப்புகள் பெரும்பாலும் புறமதிப்புகளாகக் கருதப்படுகின்றன.

பலவீனம்: தரவில் ஏற்கனவே பெரிய புறம்பான மதிப்புகள் இருந்தால், சராசரி மற்றும் திட்ட விலக்கம் பாதிக்கப்படுவதால், கண்டறிதலின் துல்லியம் குறைவாக இருக்கலாம்.

4. மாதிரி அடிப்படையிலான மற்றும் பன்மாறி முறைகள்
பன்மாறித் தரவுகளில், புறத்தன்மைப் புள்ளிகள் எப்போதும் ஒரே ஒரு நெடுவரிசையில் மட்டும் தெரிவதில்லை, மாறாகப் பல மாறிகளின் கூட்டமைப்பிலும் தென்படுகின்றன.
– பல்மாறி புறத்தன்மைகளைக் கண்டறிய மஹாலனோபிஸ் தொலைவு பெரும்பாலும் பயன்படுத்தப்படுகிறது.
இயந்திரக் கற்றலில், ஐசோலேஷன் ஃபாரஸ்ட், லோக்கல் அவுட்லையர் ஃபேக்டர் (LOF) அல்லது ஒன்-கிளாஸ் SVM போன்ற அணுகுமுறைகள் உள்ளன.

இந்த முறை, பெரிய மற்றும் சிக்கலான தரவுத் தொகுப்புகளுக்கு, எடுத்துக்காட்டாக நிதிப் பரிவர்த்தனை முறைகேட்டைக் கண்டறிவதற்கு, பொருத்தமானது.

அசாதாரணமான தரவைக் கண்டால் என்ன செய்வது?

அவற்றை வெறுமனே நீக்குவது சிறந்த நடவடிக்கை அல்ல. பொதுவாக, அசாதாரணத் தரவுகளைக் கையாளும் செயல்முறையானது பல படிகளை உள்ளடக்கியுள்ளது:

1. தரவு சரிபார்ப்பு
– தவறான உள்ளீடு, நகல் பதிவு அல்லது தவறான அலகுகள் உள்ளதா எனச் சரிபார்க்கவும்.
– அசல் தரவு மூலத்துடன் (எ.கா. படிவங்கள், சென்சார் பதிவுகள் அல்லது கைமுறைப் பதிவுகள்) ஒப்பிடவும்.

2. சூழலைப் புரிந்து கொள்ளுங்கள்
– உச்சபட்ச மதிப்புகள் இந்தக் களத்தில் பொருந்துகின்றனவா?
– உதாரணமாக, மனித உடல் வெப்பநிலை 50°C என்பது நிச்சயமாகத் தவறானது; ஆனால் 50 மில்லியன் வருமானம் என்பது ஏற்கத்தக்கதாக இருக்கலாம்.

3. பகுப்பாய்வின் நோக்கத்தைத் தீர்மானிக்கவும்
பொதுவான நடத்தையைப் புரிந்துகொள்வதே நோக்கம் என்றால், விதிவிலக்குகள் ஆதிக்கம் செலுத்துவதைத் தடுக்க அவற்றைக் கையாள வேண்டியிருக்கலாம்.
மோசடி, இயந்திரக் கோளாறு போன்ற அரிதான நிகழ்வுகளைக் கண்டறிவதே நோக்கம் என்றால், இயல்புக்கு மாறான தரவுகளே முக்கியக் கவனமாக இருக்க வேண்டும்.

4. கையாளும் உத்தியைத் தேர்ந்தெடுக்கவும்
சில பொதுவான தேர்வுகள்:
– நீக்கம்: புறம்பான தரவு ஒரு பிழை என்றும், அது பிரதிநிதித்துவமற்றது என்றும் நிரூபிக்கப்பட்டால், இந்த நீக்கம் செய்யப்படும்.
– தரவு உருமாற்றம்: எடுத்துக்காட்டாக, சமச்சீரற்ற தரவுகளுக்கான மடக்கை உருமாற்றம்.
– வின்சோரைசிங் / கேப்பிங் : உச்சபட்ச மதிப்புகளைக் குறிப்பிட்ட சதவிகிதங்களுக்குள் (எ.கா. p1 மற்றும் p99) கட்டுப்படுத்துதல்.
– வலுவான முறைகளைப் பயன்படுத்துங்கள்: இடைநிலை, IQR, வலுவான பின்னடைவு அல்லது புறத்தன்மை-எதிர்ப்பு மாதிரிகள்.
– தனிப்பட்ட பகுப்பாய்வு: சில சமயங்களில், புறத்தன்மைகளைச் சிறப்பு நிகழ்வுகளாகப் பகுப்பாய்வு செய்வது மிகவும் பொருத்தமானதாக இருக்கும்.

முக்கியமாக, பகுப்பாய்வு வெளிப்படையானதாகவும் பொறுப்புக்கூறக்கூடியதாகவும் இருப்பதற்கு, முடிவுகள் ஆவணப்படுத்தப்பட வேண்டும்.

வித்தியாசமான தரவுகள்: சிக்கலா அல்லது மதிப்புமிக்க தகவலா?

புள்ளிவிவரச் சுருக்கங்களைத் திரித்துவிடக்கூடும் என்பதால், புறத்தன்மைத் தரவுகள் பெரும்பாலும் தேவையற்றவை எனக் கருதப்படுகின்றன. இருப்பினும், பல சந்தர்ப்பங்களில், புறத்தன்மைத் தரவுகளே புதிய நுண்ணறிவுகளுக்கான நுழைவாயிலாக அமைகின்றன: அதாவது, ஒரு உயர்தர வாடிக்கையாளர் பிரிவின் இருப்பு, கவனம் தேவைப்படும் ஒரு நோயாளியின் நிலை, உற்பத்திச் செயல்முறையில் ஒரு புதிய கட்டம் அல்லது சாத்தியமான மோசடி போன்றவை. எனவே, புறத்தன்மைத் தரவுகளைத் தானாகவே புறக்கணிக்காமல், அவை விசாரிக்கப்பட வேண்டிய ஒன்றாகக் கருதப்பட வேண்டும்.

முடிவுரை

புள்ளியியலில் புறமதிப்பு என்பது தரவின் பொதுவான வடிவத்திலிருந்து கணிசமாக விலகிச் செல்லும் ஒரு மதிப்பாகும். பிழைகள், இயற்கையான மாறுபாடு, செயல்முறை மாற்றங்கள் அல்லது ஒரு தரவுத்தொகுப்பிற்குள் உள்ள குழு வேறுபாடுகள் காரணமாக புறமதிப்புகள் ஏற்படலாம். அவற்றின் தாக்கம் சராசரி, மாறுபாடு, புள்ளியியல் சோதனைகள் மற்றும் முன்கணிப்பு மாதிரிகள் ஆகியவற்றில் குறிப்பிடத்தக்கதாக இருக்கலாம். காட்சிப்படுத்தல், IQR முறைகள், z-மதிப்புகள், பன்மாறி அணுகுமுறைகள் மற்றும் இயந்திரக் கற்றல் ஆகியவற்றின் மூலம் புறமதிப்பு கண்டறிதலை அடையலாம். இதைக் கையாளும்போது சூழலையும் நோக்கங்களையும் கருத்தில் கொள்ள வேண்டும்: சரிபார்த்தல், காரணங்களைப் புரிந்துகொள்ளுதல், பின்னர் நீக்குதல், உருமாற்றுதல், மதிப்புகளைக் கட்டுப்படுத்துதல் அல்லது வலுவான முறைகளைப் பயன்படுத்துதல் போன்ற ஒரு உத்தியைத் தேர்ந்தெடுத்தல்.

சரியான புரிதலுடன், புறமதிப்புகள் என்பவை வெறும் “ஒற்றை எண்கள்” மட்டுமல்ல, மாறாக அவை தரவு சார்ந்த பகுப்பாய்வு மற்றும் முடிவுகளின் தரத்தை மேம்படுத்தக்கூடிய புள்ளியியல் நடைமுறையின் முக்கியக் கூறுகளாகும்.