புள்ளிவிவரங்களில் நிரப்புதல் முறைகள்

புள்ளிவிவரங்களில் மதிப்பீட்டு முறைகள்

புள்ளிவிவரங்கள் மற்றும் தரவுப் பகுப்பாய்வு நடைமுறையில், விடுபட்ட தரவுச் சிக்கல் ஏறக்குறைய எப்போதும் எழுகிறது. பதிலளிப்பவர்கள் சில கேள்விகளுக்குப் பதிலளிக்காதது, பதிவுப் பிழைகள், சென்சார் குறுக்கீடு, தரவைப் பிரித்தெடுக்கும் போது ஏற்படும் சிதைவு, அல்லது முழுமையாகப் பொருந்தாத பல தரவு மூலங்களை இணைக்கும் செயல்முறை போன்ற காரணங்களால் தரவு விடுபடலாம். சரியாகக் கையாளப்படாவிட்டால், விடுபட்ட தரவு பகுப்பாய்வின் தரத்தைக் குறைத்து, சோதனையின் ஆற்றலைச் சிதைத்து, ஒருதலைப்பட்சமான முடிவுகளுக்குக் கூட வழிவகுக்கும். விடுபட்ட தரவைக் கையாள்வதற்கான மிகவும் பொதுவான அணுகுமுறைகளில் ஒன்று நிரப்புதல் ஆகும், இதில் கிடைக்கக்கூடிய தகவல்களின் அடிப்படையில் மதிப்பிடப்பட்ட மதிப்புகளைக் கொண்டு விடுபட்ட மதிப்புகள் நிரப்பப்படுகின்றன.

தரவு நிரப்புதல் ஏன் முக்கியமானது?

விடுபட்ட தரவுகளை வெறுமனே நீக்குவதை விட, தரவு நிரப்புதல் ஏன் பெரும்பாலும் தேர்ந்தெடுக்கப்படுகிறது என்பதற்குப் பல காரணங்கள் உள்ளன. முதலாவதாக, விடுபட்ட மதிப்புகளைக் கொண்ட வரிசைகள்/தரவுத் தரவுகளை நீக்குவது (எ.கா., பட்டியல் வாரியான நீக்கம்), குறிப்பாக விடுபட்ட தரவுகளின் சதவீதம் குறிப்பிடத்தக்கதாக இருக்கும்போது, ​​மாதிரி அளவை வெகுவாகக் குறைத்துவிடும். இரண்டாவதாக, தரவுகள் சீரற்ற முறையில் விடுபடவில்லை என்றால், நீக்குதல் செயல்முறை ஒரு சார்புநிலையை ஏற்படுத்தக்கூடும். மூன்றாவதாக, பல புள்ளியியல் அல்லது இயந்திர கற்றல் நெறிமுறைகளுக்கு முழுமையான தரவுகள் தேவைப்படுகின்றன, இது தரவு நிரப்புதலை ஒரு வசதியான முன்செயலாக்கப் படியாக ஆக்குகிறது.

இருப்பினும், தரவு நிரப்புதல் என்பது வெறுமனே "இடைவெளிகளை நிரப்புவது" மட்டுமல்ல. தேர்ந்தெடுக்கப்பட்ட முறையானது, விடுபட்ட தரவுகளின் இயங்குமுறை, மாறிகளின் கட்டமைப்பு மற்றும் பகுப்பாய்வின் நோக்கங்கள் ஆகியவற்றைக் கருத்தில் கொள்ள வேண்டும். தரமற்ற தரவு நிரப்புதல், மாதிரியை ஏமாற்றி, மாறுபாட்டைக் குறைத்து, முடிவுகளை அவை உண்மையில் இருப்பதை விட அதிக உறுதியானவையாகத் தோன்றச் செய்துவிடும்.

இழந்த தரவு பொறிமுறை

புள்ளிவிவர ஆய்வுகளில், விடுபட்ட தரவுகள் பொதுவாக மூன்று முக்கிய வழிமுறைகளாக வகைப்படுத்தப்படுகின்றன:

1. MCAR (முற்றிலும் தற்செயலாக விடுபடுதல்): விடுபட்ட தரவுகளின் நிகழ்தகவானது, கவனிக்கப்பட்ட அல்லது கவனிக்கப்படாத எந்தவொரு மாறிகளையும் சார்ந்து இருப்பதில்லை. எடுத்துக்காட்டாக, ஒரு விபத்தால் சேதமடைந்த கேள்வித்தாள்.
2. MAR (Missing At Random): தரவு விடுபடுவதற்கான நிகழ்தகவு, கவனிக்கப்பட்ட மாறியைச் சார்ந்துள்ளது, ஆனால் மற்ற மாறிகளைக் கட்டுப்படுத்திய பிறகு, விடுபட்ட மதிப்பைச் சார்ந்திருப்பதில்லை. எடுத்துக்காட்டாக, இளம் பதிலளிப்பவர்கள் வருமானம் தொடர்பான கேள்விகளைத் தவறவிடுவதற்கான வாய்ப்புகள் அதிகம், ஆனால் வயது குறித்த தகவல் கிடைக்கிறது.
3. MNAR (சீரற்ற முறையில் விடுபடுதல்): தரவு விடுபடுவதற்கான நிகழ்தகவு, விடுபட்ட மதிப்பையே சார்ந்துள்ளது. எடுத்துக்காட்டாக, மிக அதிக வருமானம் உள்ளவர்கள் தங்கள் வருமானத்தை வெளிப்படுத்துவதில்லை.

MCAR/MAR முறையின் கீழ் தரவு நிரப்புதல் பொதுவாகப் பாதுகாப்பானது. MNAR முறைக்கு, விடுபட்ட தரவுகளை வெளிப்படையாகக் கணக்கில் கொள்ளும் ஒரு மாதிரி அல்லது ஒரு உணர்திறன் பகுப்பாய்வு பெரும்பாலும் தேவைப்படுகிறது.

எளிய நிரப்புதல் முறை

1. சராசரி/இடைநிலை/முகடு நிரப்புதல்
எண் மாறிகளுக்கு விடுபட்ட மதிப்புகளைச் சராசரி அல்லது இடைநிலை மதிப்பாலும், வகை மாறிகளுக்கு முகடு மதிப்பாலும் மாற்றுவதே மிக எளிய முறையாகும். இதன் நன்மைகள்: இது எளிதானது, வேகமானது, மேலும் பெரும்பாலும் ஒரு அடிப்படை அளவாகப் பயன்படுகிறது. இதன் தீமைகள்: இது மாறுபாட்டைக் குறைத்து, தரவுப் பரவலைச் சிதைக்கக்கூடும், குறிப்பாகத் தரவு சமச்சீரற்றதாகவோ அல்லது புறமதிப்புகளைக் கொண்டதாகவோ இருந்தால். பொதுவாக, சராசரியை விட இடைநிலை மதிப்பு புறமதிப்புகளுக்கு எதிராக அதிக உறுதியானது.

2. நிலையான மதிப்பீடு
விடுபட்ட மதிப்புகள் 0, -1 அல்லது "அறியப்படாதது" என்ற குறியீடு போன்ற ஒரு குறிப்பிட்ட மாறிலியைக் கொண்டு நிரப்பப்படுகின்றன. அந்த மதிப்பிற்கு ஒரு குறிப்பிட்ட பொருள் இருக்கும்போது (எ.கா., "பரிவர்த்தனை இல்லை"), அல்லது விடுபட்ட தன்மையை எடுத்துக்காட்ட மாதிரிக்கு ஒரு கூடுதல் காட்டி வழங்கப்பட வேண்டியிருக்கும்போது இது பயனுள்ளதாக இருக்கும். இருப்பினும், தன்னிச்சையான ஒரு மாறிலியைத் தேர்ந்தெடுப்பது தவறான வடிவங்களை அறிமுகப்படுத்தக்கூடும்.

3. ஹாட் டெக் இம்ப்யூடேஷன்
ஹாட் டெக்கில், பல முக்கிய மாறிகளின் அடிப்படையில், மற்ற "ஒத்த" அவதானிப்புகளிலிருந்து (வழங்குநர்கள்) பெறப்பட்ட மதிப்புகளைக் கொண்டு விடுபட்ட மதிப்புகள் நிரப்பப்படுகின்றன. இந்த முறை கணக்கெடுப்புகளில் பிரபலமாக உள்ளது. ஹாட் டெக்குகள் தரவின் உண்மையான மதிப்புகளைப் படம்பிடிப்பதால், அவை யதார்த்தமான மதிப்புகளைப் பராமரிக்கின்றன, ஆனால் அதன் முடிவுகள் "ஒற்றுமை" என்பதன் வரையறையைப் பொறுத்து மாறுபடுவதோடு, மாதிரிகளுக்கு இடையேயான வேறுபாட்டையும் ஏற்படுத்தக்கூடும்.

மாதிரி அடிப்படையிலான மதிப்பீட்டு முறை

4. பின்னடைவு நிரப்புதல்
விடுபட்ட மதிப்புகள், பிற மாறிகளிலிருந்து பெறப்பட்ட ஒரு பின்னடைவு மாதிரியைப் பயன்படுத்தி கணிக்கப்படுகின்றன. எண் மாறிகளுக்கு, நேரியல் பின்னடைவைப் பயன்படுத்தலாம்; வகை மாறிகளுக்கு, லாஜிஸ்டிக் அல்லது மல்டினோமியல் பின்னடைவைப் பயன்படுத்தலாம். இதன் நன்மை என்னவென்றால், இது மாறிகளுக்கு இடையிலான உறவுகளைப் பயன்படுத்துகிறது. இதன் குறைபாடு என்னவென்றால், தீர்மானிக்கப்பட்ட கணிக்கப்பட்ட மதிப்புகளை மட்டும் பயன்படுத்துவது மாறுபாட்டைக் குறைக்கும் போக்கைக் கொண்டுள்ளது, ஏனெனில் அனைத்து உள்ளிடப்பட்ட மதிப்புகளும் கணிப்புக் கோட்டின் மீது துல்லியமாக அமைகின்றன. இதைச் சரிசெய்ய, அதிக யதார்த்தத்திற்காக சீரற்ற கூறுகள் (எ.கா., எச்சங்கள்) பெரும்பாலும் சேர்க்கப்படுகின்றன.

5. k-அருகிலுள்ள அண்டைவீட்டார் (kNN) நிரப்புதல்
kNN முறையானது, k அருகிலுள்ள அண்டை அயலாரின் சராசரி (அல்லது வாக்களிப்பு) அடிப்படையில் விடுபட்ட மதிப்புகளை நிரப்புகிறது. தரவு இயல்பாக்கப்பட்ட பிறகு, நெருக்கம் பொதுவாக யூக்ளிடியன் தூரம் அல்லது மற்றொரு அளவீட்டின் மூலம் அளவிடப்படுகிறது. இதன் நன்மைகளில் நெகிழ்வுத்தன்மை மற்றும் நேரியல் தொடர்பு இல்லை என்ற அனுமானம் ஆகியவை அடங்கும். இதன் குறைபாடுகளில் பெரிய தரவுத் தொகுப்புகளுக்கு அதிக கணக்கீட்டுச் செலவு, மாறுபடும் அளவிற்கான உணர்திறன், மற்றும் உயர் பரிமாணத் தரவுகளில் செயல்திறன் குறைதல் (பரிமாணத்தின் சாபம்) ஆகியவை அடங்கும்.

6. எதிர்பார்ப்பை அதிகப்படுத்துதல் (EM)
EM அணுகுமுறையானது, விடுபட்ட மதிப்புகளை மறைநிலை மாறிகளாகக் கருதி, மாதிரி அளவுருக்களை (எ.கா., பன்மாறி இயல்நிலைத் தரவுகளுக்கான சராசரி மற்றும் இணைமாறுபாடு) மதிப்பிடுகிறது. படி E, தற்போதைய அளவுருக்களின் அடிப்படையில் விடுபட்ட மதிப்புகளின் எதிர்பார்ப்பை மீண்டும் மீண்டும் கணக்கிடுகிறது, பின்னர் படி M, எதிர்பார்க்கப்படும் "முழுமையான" தரவுகளின் அடிப்படையில் அளவுருக்களைப் புதுப்பிக்கிறது. EM ஆனது சில பரவல் அனுமானங்களுக்கு வலுவானது, ஆனால் அது சிக்கலானதாக இருக்கலாம் மற்றும் மாதிரி அனுமானங்களின் சரியான தன்மையைச் சார்ந்துள்ளது.

பலமுறை குற்றம் சாட்டுதல்: பல வழக்குகளில் சிறந்த தரநிலை

7. பல்திறன் நிரப்புதல் (MI)
MAR-க்கான மிகவும் கொள்கை சார்ந்த அணுகுமுறைகளில் ஒன்றாகப் பன்முறை நிரப்புதல் (Multiple Imputation) கருதப்படுகிறது. ஒரே ஒரு முழுமையான தரவுத்தொகுப்பை உருவாக்குவதற்குப் பதிலாக, MI ஆனது நிச்சயமற்ற தன்மையைப் பிரதிபலிக்கும் வெவ்வேறு நிரப்புதல்களுடன் பல தரவுத்தொகுப்புகளை (எ.கா., 5–20) உருவாக்குகிறது. ஒவ்வொரு தரவுத்தொகுப்பும் தனித்தனியாகப் பகுப்பாய்வு செய்யப்படுகிறது, பின்னர் மிகவும் செல்லுபடியாகும் மதிப்பீடுகளையும் திட்டப் பிழைகளையும் பெறுவதற்காக ரூபினின் விதிகளைப் பயன்படுத்தி முடிவுகள் ஒன்றிணைக்கப்படுகின்றன.

MI நன்மைகள்:
– தரவு நிரப்புதல் நிச்சயமற்ற தன்மையை ஏற்றுக்கொள்கிறது.
– புள்ளியியல் அனுமானத்திற்கு (நம்பக இடைவெளிகள், கருதுகோள் சோதனை) மிகவும் துல்லியமானது.
– பல்வேறு வகையான மாறிகளுக்கு ஏற்ப நெகிழ்வுத்தன்மை கொண்டது.

அதன் வரம்புகள்:
– மேலும் சிக்கலான செயலாக்கம்.
– போதுமான அனுமானங்களும் தரவு நிரப்புதல் மாதிரி விவரக்குறிப்புகளும் தேவைப்படுகின்றன.
MNAR-இல் தரவு விடுபடல் இருந்தால், வழக்கமான MI-யும் ஒருதலைப்பட்சமாக இருக்கக்கூடும்.

நேரத் தொடர் மற்றும் இடஞ்சார்ந்த தரவுகளுக்கான நிரப்புதல்

காலத் தொடர் தரவுகளில், விடுபட்ட மதிப்புகள் பெரும்பாலும் அவற்றின் முந்தைய மற்றும் பிந்தைய மதிப்புகளுடன் வலுவாகத் தொடர்பு கொண்டிருக்கின்றன. நேரியல் இடைச்செருகல், ஸ்ப்ளைன்கள், கல்மான் வடிகட்டிகள் அல்லது ARIMA/நிலைவெளி மாதிரிகள் போன்ற முறைகள் பெரும்பாலும் பயன்படுத்தப்படுகின்றன. இடஞ்சார்ந்த தரவுகளுக்கு, கிரிகிங் மற்றும் இடஞ்சார்ந்த மாதிரிகள் போன்ற அணுகுமுறைகள் புவியியல் அருகாமையைப் பயன்படுத்திக் கொள்ள முடியும். கால/இடஞ்சார்ந்த கட்டமைப்பு மேலோங்கி இருக்கும்போது இந்த முறைகள் பயனுள்ளதாக இருக்கும், ஆனால் எளிய இடைச்செருகலைத் தவறாக வழிநடத்தக்கூடிய திடீர் மாற்றங்களுக்கு (எ.கா., பொருளாதார அதிர்ச்சிகள்) எதிராக எச்சரிக்கையுடன் செயல்பட வேண்டும்.

தரவு நிரப்புதல் முறைகளைத் தேர்ந்தெடுப்பதில் நல்ல நடைமுறைகள்

1. விடுபட்ட தரவு ஆய்வை மேற்கொள்ளுங்கள்: விடுபட்ட மதிப்புகளின் சதவீதம், விடுபடுதலின் போக்கு, மற்றும் அந்த விடுபடுதல் ஒரு குறிப்பிட்ட மாறியுடன் தொடர்புடையதா என்பதைச் சரிபார்க்கவும்.
2. பயிற்சி மற்றும் சோதனைத் தரவுகளைப் பிரிக்கவும்: தரவுக் கசிவைத் தவிர்க்க, பயிற்சித் தரவுகளிலிருந்து மட்டும் “கற்றுக்கொள்வதன்” மூலம் தரவு நிரப்புதலைச் செய்து, பின்னர் அதைச் சோதனைத் தரவுகளில் பயன்படுத்தவும்.
3. மாறியின் வகையைக் கருத்தில் கொள்ளுங்கள்: எண் சார்ந்த, வகை சார்ந்த, வரிசை சார்ந்த அல்லது கலப்பு; பொருத்தமான முறை மாறுபடும்.
4. விடுபட்ட மதிப்புகளுக்கான குறிகாட்டிகளைப் பயன்படுத்துங்கள்: சில நேரங்களில், ஒரு மதிப்பு விடுபட்டுள்ளது என்ற தகவலே முன்கணிப்பதாக அமையும்; குறிகாட்டி மாறிகளைச் சேர்ப்பது, ஒரு முன்கணிப்பு மாதிரியின் செயல்திறனை மேம்படுத்தும்.
5. தரவு நிரப்புதலின் தாக்கத்தை மதிப்பிடுங்கள்: தரவு நிரப்புதலுக்கு முன்னும் பின்னும் உள்ள பரவல்களை ஒப்பிட்டு, மாறுபாடு குறைந்திருக்கிறதா எனச் சரிபார்த்து, மாதிரியைச் சரிபார்க்கவும்.
6. அனுமானத்திற்கு பன்முறை நிரப்புதலுக்கு முன்னுரிமை அளிக்கவும்: பகுப்பாய்வின் நோக்கம் அளவுரு மதிப்பீடு மற்றும் புள்ளியியல் சோதனையாக இருக்கும்போது, ​​ஒற்றை நிரப்புதலை விட பன்முறை நிரப்புதல் பெரும்பாலும் மிகவும் பொருத்தமானதாக இருக்கும்.

முடிவுரை

விடுபட்ட தரவுகளைக் கையாள்வதற்கான நவீன புள்ளிவிவரப் பணிப்பாய்வுகளில், தரவு நிரப்புதல் ஒரு முக்கிய அங்கமாகும். சராசரி/இடைநிலை போன்ற எளிய முறைகள் ஒரு அடிப்படையாகவோ அல்லது சிறிய விடுபட்ட தரவுகளுக்கு பயனுள்ளதாக இருக்கும், ஆனால் அவை பெரும்பாலும் தரவுக் கட்டமைப்பையும் நிச்சயமற்ற தன்மையையும் சமரசம் செய்கின்றன. பின்னடைவு, kNN, மற்றும் EM போன்ற மாதிரி அடிப்படையிலான முறைகள் மாறிகளுக்கு இடையிலான உறவுகளைப் பயன்படுத்துகின்றன, அதேசமயம் பன்முறை நிரப்புதல் நிச்சயமற்ற தன்மையைக் கணக்கில் கொண்டு அனுமானத்திற்கு ஒரு வலுவான கட்டமைப்பை வழங்குகிறது. சிறந்த முறையின் தேர்வு, விடுபட்ட தரவு பொறிமுறை (MCAR/MAR/MNAR), பகுப்பாய்வு நோக்கம் (கணிப்பு அல்லது அனுமானம்), மற்றும் தரவின் பண்புகள் (காலத் தொடர், இடஞ்சார்ந்த, கலப்பு) ஆகியவற்றைப் பொறுத்தது. சரியான அணுகுமுறையுடன், தரவு நிரப்புதல் பகுப்பாய்வின் ஒருமைப்பாட்டைப் பராமரிக்க உதவுகிறது மற்றும் மிகவும் நம்பகமான முடிவுகளை அளிக்கிறது.