புள்ளியியலில் குறுக்கு சரிபார்ப்பு முறை

புள்ளியியலில் குறுக்கு சரிபார்ப்பு முறை

புள்ளியியல் மற்றும் தரவு அறிவியலில் உள்ள மிகப்பெரிய சவால்களில் ஒன்று, ஒரு மாதிரியானது அது பயிற்சி பெற்ற தரவுகளில் மட்டுமல்லாமல், புதிய, இதுவரை காணப்படாத தரவுகளிலும் சிறப்பாகச் செயல்படுவதை உறுதி செய்வதாகும். இந்தப் பிரச்சனை பெரும்பாலும் பொதுமைப்படுத்தல் என்று குறிப்பிடப்படுகிறது. இங்குதான் குறுக்கு-சரிபார்ப்பு (cross-validation) வருகிறது: இது ஒரே ஒரு தரவுத் தொகுப்பைப் பயன்படுத்தி செய்யப்படும் ஒற்றை மதிப்பீட்டை விட, மாதிரியின் செயல்திறனை மிகவும் நியாயமாகவும் சீராகவும் அளவிடுவதற்காக வடிவமைக்கப்பட்ட ஒரு மாதிரி மதிப்பீட்டு முறையாகும்.

குறுக்கு சரிபார்ப்பு ஏன் தேவைப்படுகிறது?

நாம் ஒரு முன்கணிப்பு மாதிரியை உருவாக்கும்போது—உதாரணமாக, வீட்டு விலைகளைக் கணிக்க ஒரு பின்னடைவு மாதிரி அல்லது ஸ்பேமைக் கண்டறிய ஒரு வகைப்படுத்தல் மாதிரி—பொதுவாகத் தரவை இரண்டு பகுதிகளாகப் பிரிக்கிறோம்: ஒரு பயிற்சித் தொகுப்பு மற்றும் ஒரு சோதனைத் தொகுப்பு. அந்த மாதிரி, பயிற்சித் தரவில் பயிற்றுவிக்கப்பட்டு, பின்னர் சோதனைத் தரவில் மதிப்பிடப்படுகிறது. இந்த அணுகுமுறை எளிமையானது, ஆனால் இதில் ஒரு குறைபாடு உள்ளது: மதிப்பீட்டு முடிவுகள், தரவு எவ்வாறு பிரிக்கப்படுகிறது என்பதைப் பெரிதும் சார்ந்திருக்கக்கூடும். சோதனைத் தரவு "எளிதானதாக" இருந்தால், செயல்திறன் அதிகமாகத் தோன்றும்; சோதனைத் தரவு "கடினமானதாக" இருந்தால், செயல்திறன் குறைவாகத் தோன்றும்.

குறுக்குச் சரிபார்ப்பு என்பது, வெவ்வேறு தரவுத் தொகுப்புகளில் பல பயிற்சி மற்றும் சோதனை செயல்முறைகளை மேற்கொண்டு, பின்னர் அவற்றின் முடிவுகளைச் சராசரி செய்வதன் மூலம், ஒரே ஒரு தரவுத் தொகுப்பைச் சார்ந்திருக்கும் நிலையைக் குறைக்கிறது. இதன் விளைவாக, நிஜ உலக நிலைமைகளை மிகவும் பிரதிபலிக்கும் செயல்திறன் மதிப்பீடுகள் கிடைக்கின்றன.

குறுக்கு சரிபார்ப்பின் அடிப்படைக் கருத்துக்கள்

குறுக்கு-சரிபார்ப்பின் சாராம்சம் என்பது தரவை பல பகுதிகளாக (மடிப்புகளாக) பிரிப்பதாகும். ஒவ்வொரு சுழற்சியிலும், சில மடிப்புகள் மாதிரியைப் பயிற்றுவிக்கவும், ஒரு மடிப்பு மாதிரியைச் சோதிக்கவும் பயன்படுத்தப்படுகின்றன. ஒவ்வொரு மடிப்பும் சோதனைத் தரவாகப் பயன்படுத்தப்படும் வரை இந்த செயல்முறை மீண்டும் மீண்டும் செய்யப்படுகிறது. ஒவ்வொரு சுழற்சியிலிருந்தும் பெறப்பட்ட மதிப்பீட்டு மதிப்பெண்கள் பின்னர் (பொதுவாக சராசரி மற்றும் சில நேரங்களில் திட்ட விலகலுடன் சேர்த்து) மாதிரியின் செயல்திறன் குறித்த ஒரு மேலோட்டத்தை வழங்குவதற்காக இணைக்கப்படுகின்றன.

உதாரணமாக, k=5 கொண்ட k-மடிப்பு குறுக்கு சரிபார்ப்பில், தரவு 5 மடிப்புகளாகப் பிரிக்கப்படுகிறது. முதல் சுழற்சி: மடிப்பு 1 சோதனையாகவும், மடிப்புகள் 2–5 பயிற்சியாகவும் இருக்கும். இரண்டாவது சுழற்சி: மடிப்பு 2 சோதனையாகவும், இதேபோல் மடிப்பு 5 வரை தொடரும்.

குறுக்கு சரிபார்ப்பின் பொதுவான வகைகள்

1. ஹோல்டவுட் சரிபார்ப்பு (பயிற்சி-சோதனைப் பிரிவு)
தொழில்நுட்ப ரீதியாக இது "மீண்டும் மீண்டும் செய்யப்படும்" குறுக்கு-சரிபார்ப்பு இல்லை என்றாலும், ஹோல்டவுட் முறை பெரும்பாலும் ஒரு அடிப்படை சரிபார்ப்புப் படியாகக் கருதப்படுகிறது. இதில் தரவு ஒருமுறை பிரிக்கப்படுகிறது, உதாரணமாக, 80% பயிற்சிக்கும் 20% சோதனைக்கும். இதன் நன்மை என்னவென்றால், இது வேகமாகவும் எளிமையாகவும் இருக்கும், ஆனால் இதன் குறைபாடு என்னவென்றால், இது ஒரே ஒரு பிரிவைச் சார்ந்திருப்பதால் முடிவுகளில் அதிக மாறுபாடு காணப்படும்.

தரவுகள் மிகப் பெரியதாக இருக்கும்போது, ​​ஒரே ஒரு பிரிவு கூட போதுமான பிரதிநிதித்துவத்தைக் கொடுக்கும் வகையில் இந்த முறை பொதுவாகப் பயன்படுத்தப்படுகிறது.

2. கே-மடிப்பு குறுக்கு சரிபார்ப்பு
இது குறுக்குச் சரிபார்ப்பின் மிகவும் பிரபலமான வடிவமாகும். கணக்கீட்டுச் செலவு மற்றும் மதிப்பீட்டுத் தரம் ஆகியவற்றைச் சமநிலைப்படுத்துவதாகக் கருதப்படுவதால், k அளவுரு பெரும்பாலும் 5 அல்லது 10 ஆகத் தேர்ந்தெடுக்கப்படுகிறது.

மிகை:
– தரவுகளை மிகவும் திறமையாகப் பயன்படுத்துதல் (ஒவ்வொரு தரவும் பயிற்சி மற்றும் சோதனையின் ஒரு பகுதியாகிறது).
செயல்திறன் மதிப்பீடுகள், காத்திருப்பு நிலையை விட அதிக நிலைத்தன்மை கொண்டவை.

பற்றாக்குறை:
– இது மாடலுக்கு k முறை பயிற்சி அளிப்பதால் அதிக நேரம் எடுக்கும்.
தரவு மிகப் பெரியதாக இருந்தாலோ அல்லது மாதிரி மிகவும் சிக்கலானதாக இருந்தாலோ, கணக்கீட்டுச் செலவுகள் அதிகமாக இருக்கலாம்.

3. அடுக்கு K-மடிப்பு குறுக்கு சரிபார்ப்பு
வகைப்படுத்தல் சிக்கல்களுக்கு, குறிப்பாக வகுப்புகள் சமநிலையற்றதாக இருக்கும்போது (எ.கா., 90% எதிர்மறை, 10% நேர்மறை), வழக்கமான k-fold முறையானது, வகுப்புப் பரவல்கள் ஒருபக்கச் சாய்வைக் கொண்ட fold-களை உருவாக்கக்கூடும். stratified k-fold முறையானது, ஒவ்வொரு fold-இலும் உள்ள வகுப்புகளின் விகிதமானது, அசல் தரவில் உள்ள வகுப்புகளின் விகிதத்திற்கு ஏறக்குறைய சமமாக இருப்பதை உறுதி செய்கிறது.

நோய் கண்டறியும் மாதிரிகள், மோசடி அல்லது சிறுபான்மை வர்க்கம் குறைவாக உள்ள பிற நிகழ்வுகளை மதிப்பிடும்போது இது குறிப்பாக முக்கியத்துவம் பெறுகிறது.

4. ஒன்றைத் தவிர்த்து குறுக்கு சரிபார்ப்பு (LOOCV)
LOOCV-இல், மடிப்புகளின் எண்ணிக்கை தரவுகளின் அளவிற்குச் சமம் (k = n). இதன் பொருள், ஒவ்வொரு சுழற்சியிலும், ஒரே ஒரு தரவு மட்டுமே சோதனைத் தரவாகவும், மீதமுள்ளவை பயிற்சித் தரவாகவும் மாறும்.

மிகை:
– ஒவ்வொரு சுழற்சியிலும் ஏறக்குறைய எல்லாத் தரவுகளும் பயிற்சிக்காகப் பயன்படுத்தப்படுவதால், மதிப்பீட்டுச் சார்பு சிறியதாக இருக்கலாம்.

பற்றாக்குறை:
பெரிய தரவுத் தொகுப்புகளுக்கு, கணக்கீட்டு ரீதியாக மிகவும் செலவு மிக்கது.
சில வகைச் சிக்கல்களில் மதிப்பீட்டு மாறுபாடு அதிகமாக இருக்கலாம், ஏனெனில் ஒவ்வொரு சுழற்சிக்கும் சோதனைத் தொகுப்பில் ஒரே ஒரு புள்ளி மட்டுமே இருக்கும்.

தரவுகள் மிகக் குறைவாக இருக்கும்போது, ​​எடுத்துக்காட்டாக சிறிய மாதிரி அளவைக் கொண்ட ஆய்வுகளில், LOOCV பெரும்பாலும் பயன்படுத்தப்படுகிறது.

5. மீண்டும் மீண்டும் செய்யப்படும் K-மடிப்பு குறுக்கு சரிபார்ப்பு
இந்த முறை, k-fold-ஐ வெவ்வேறு (சீரற்ற) மடிப்பு ஒதுக்கீடுகளுடன் பலமுறை மீண்டும் மீண்டும் செய்கிறது. ஒற்றை மடிப்பு ஒதுக்கீட்டின் மீதான சார்பைக் குறைத்து, மேலும் நிலையான மதிப்பீடுகளை உருவாக்குவதே இதன் நோக்கமாகும்.

உதாரணமாக, “பத்து மடங்கு மூன்று முறை மீண்டும் செய்யப்பட்டது” என்பது பத்து மடங்கை மூன்று முறை இயக்குவதைக் குறிக்கிறது (மொத்தம் 30 பயிற்சிகள் மற்றும் மதிப்பீடுகள்).

6. காலத் தொடர் குறுக்கு சரிபார்ப்பு
காலத் தொடர் தரவுகளுக்கு, வழக்கமான குறுக்கு-சரிபார்ப்பு பொருத்தமானதல்ல, ஏனெனில் அது பயிற்சிச் செயல்பாட்டில் எதிர்காலத்தைக் கசியவிடக்கூடும். காலத் தொடர்களில், காலவரிசை பாதுகாக்கப்பட வேண்டும். எனவே, பின்வரும் அணுகுமுறைகள் பயன்படுத்தப்படுகின்றன:
– நகரும்/மாறும் கால அளவு: ஆரம்ப காலகட்டத்தில் பயிற்சி, பின்னர் அடுத்த காலகட்டத்தில் சோதனை, அதன் பிறகு கால அளவு மாறும்.
– விரிவடையும் சாளரம்: பயிற்சித் தரவுகள் காலப்போக்கில் அதிகரித்து, பின்னர் அடுத்த காலகட்டத்தில் சோதிக்கப்படுகின்றன.

இந்த முறை மாதாந்திர விற்பனைக் கணிப்பு, பங்கு விலைகள் அல்லது நிகழ்நேர சென்சார்களுக்குப் பொருத்தமானது.

குறுக்கு சரிபார்ப்பில் மதிப்பீட்டு அளவீடுகள்

குறுக்கு சரிபார்ப்பு என்பது ஒரு மதிப்பீட்டுக் கட்டமைப்பு மட்டுமே; பயன்படுத்தப்படும் அளவீடுகள் சிக்கலின் வகையைப் பொறுத்து அமையும்.
– பின்னடைவு: MSE, RMSE, MAE, R-வர்க்கம்.
– வகைப்பாடு: துல்லியம், நுட்பம், மீட்டெடுப்பு, F1-மதிப்பெண், ROC-AUC.
– சமநிலையற்ற வகைப்பாடு: ROC-AUC, PR-AUC (துல்லியம்-மீட்டெடுப்பு), சமச்சீர் துல்லியம்.

குறுக்கு-சரிபார்ப்பு முடிவுகள் பொதுவாக அளவீட்டு சராசரி மற்றும் திட்ட விலக்கமாக (எ.கா., துல்லியம் 0,89 ± 0,03) தெரிவிக்கப்படுகின்றன. திட்ட விலக்கம் மாதிரியின் நிலைத்தன்மையைப் புரிந்துகொள்ள உதவுகிறது.

மாதிரித் தேர்வு மற்றும் அளவுரு சரிசெய்தலுக்கான குறுக்கு சரிபார்ப்பு

குறுக்கு சரிபார்ப்பின் முக்கியப் பயன்பாடுகளில் ஒன்று மாதிரித் தேர்வு மற்றும் மீவிளக்க அளவுரு சரிசெய்தல் ஆகும். எடுத்துக்காட்டாக:
– k-NN இல் k-ஐத் தேர்ந்தெடுத்தல்.
முடிவெடுக்கும் மரத்தில் அதிகபட்ச ஆழத்தைத் தேர்ந்தெடுக்கவும்.
– ரிட்ஜ்/லாசோ ரெக்ரஷனில் ஒழுங்குபடுத்தல் அளவுருக்களைத் தீர்மானிக்கவும்.
SVM-ல் C மற்றும் காமாவைக் கண்டறியவும்.

ஒரு சிறந்த நடைமுறையில், பயிற்சித் தரவுகளில் குறுக்கு-சரிபார்ப்பைப் பயன்படுத்தி சரிசெய்தல் செயல்முறை மேற்கொள்ளப்படுகிறது, அதே நேரத்தில் இறுதி மதிப்பீட்டிற்காக இறுதி சோதனைத் தரவுகள் தனியாக வைக்கப்படுகின்றன. இது, மதிப்பீட்டுத் தரவுகளுக்கு மாதிரி மிகையாகப் பொருந்துவதால் ஏற்படும் "அளவுக்கு மீறிய நம்பிக்கையை" தடுக்கிறது.

மேலும் கடுமையான ஒரு அணுகுமுறை உள்ளமைக்கப்பட்ட குறுக்கு-சரிபார்ப்பு (nested cross-validation) என அழைக்கப்படுகிறது. இது குறுக்கு-சரிபார்ப்புக்குள் செய்யப்படும் ஒரு குறுக்கு-சரிபார்ப்பாகும்: இதில் வெளிப்புறச் சுழற்சி மதிப்பீட்டிற்கும், உட்புறச் சுழற்சி சரிசெய்தலுக்கும் பயன்படுகிறது. இது மிகவும் பாரபட்சமற்ற செயல்திறன் மதிப்பீடுகளை வழங்குவதால், ஆராய்ச்சியில் பிரபலமாக உள்ளது.

குறுக்கு சரிபார்ப்பின் நன்மைகள் மற்றும் வரம்புகள்

முக்கிய நன்மைகள்:
1. ஒற்றை வகுத்தலை விட அதிக நிலையான செயல்திறன் மதிப்பீடுகளை வழங்குகிறது.
2. தரவுகளைத் திறமையாகப் பயன்படுத்துங்கள், குறிப்பாகத் தரவுத்தொகுப்பு சிறியதாக இருக்கும்போது.
3. மேலும் பொதுவான ஒரு மாதிரியைத் தேர்ந்தெடுக்க உதவுகிறது மற்றும் மிகைப்பொருத்தத்தின் அபாயத்தைக் குறைக்கிறது.

Keterbatasan:
1. பயிற்சி பலமுறை மீண்டும் மீண்டும் செய்யப்படும்போது கணக்கீட்டுச் செலவுகள் அதிகரிக்கின்றன.
2. முன் செயலாக்கம் முறையாகச் செய்யப்படாவிட்டால், தரவுக் கசிவுகள் ஏற்பட வாய்ப்புள்ளது.
3. தொகுக்கப்பட்ட தரவுகளுக்கு (எடுத்துக்காட்டாக, பல பதிவுகளைக் கொண்ட நோயாளித் தரவு), ஒரு தனிநபர் ஒரே நேரத்தில் பயிற்சி மற்றும் சோதனையில் தோன்றாதவாறு, குரூப் கே-ஃபோல்ட் (group k-fold) போன்ற ஒரு சிறப்பு முறை தேவைப்படுகிறது.

குறுக்கு சரிபார்ப்பைப் பயன்படுத்துவதில் நல்ல நடைமுறைகள்

ஒரு மதிப்பீடு செல்லுபடியாக இருப்பதற்கு, பல முக்கியமான கொள்கைகள் பின்பற்றப்பட வேண்டும்:
– முன்செயலாக்கத்தை (சீரமைத்தல், தரவு நிரப்புதல், பண்புக்கூறு தேர்வு) முழுத் தரவிற்கும் ஒரே முறை செய்யாமல், ஒவ்வொரு ஃபோல்டிற்குள்ளும் செய்யவும். இல்லையெனில், டெஸ்ட் ஃபோல்டில் உள்ள தகவல்கள் ட்ரெயின் ஃபோல்டிற்குள் கசிந்துவிடும்.
சமநிலையற்ற வகுப்புகளைக் கொண்ட வகைப்பாட்டிற்கு, அடுக்கு k-மடிப்பைப் பயன்படுத்தவும்.
காலத் தொடர் தரவுகளின் வரிசை மீறப்படாத வகையில் ஒரு சிறப்புத் திட்டத்தைப் பயன்படுத்தவும்.
மாதிரியைச் செயல்படுத்துவதற்கு முன் அதன் இறுதிச் செயல்திறனை மதிப்பிடுவதே உங்கள் நோக்கமாக இருந்தால், இறுதிச் சோதனைத் தொகுப்பைத் தனியாக ஒதுக்கி வைக்கவும்.

மூடுகிறது

பயன்பாட்டுப் புள்ளியியல் மற்றும் இயந்திரக் கற்றலில், மாதிரி செயல்திறனை மிகவும் நேர்மையாகவும் உறுதியாகவும் மதிப்பிடுவதற்கு குறுக்கு-சரிபார்ப்பு ஒரு அடிப்படைக் கருவியாகும். மீண்டும் மீண்டும் தரவைப் பகிர்வதன் மூலம், பயிற்சி-சோதனைப் பிரிப்புத் தேர்வினால் ஏற்படும் சார்புநிலையைக் குறைக்கவும், மிகைப்பொருத்தத்தைக் கண்டறியவும், மாதிரித் தேர்வு மற்றும் மீஅளவுரு சரிசெய்தலை ஆதரிக்கவும் குறுக்கு-சரிபார்ப்பு உதவுகிறது. இதன் கணக்கீட்டுச் செலவு அதிகமாக இருந்தாலும், குறிப்பாகத் தரவுத்தொகுப்பு சிறியதாக இருக்கும்போது அல்லது மாதிரி முடிவுகளின் அடிப்படையில் எடுக்கப்படும் முடிவுகள் குறிப்பிடத்தக்க விளைவுகளை ஏற்படுத்தும் போது, ​​அதன் நன்மைகள் பெரும்பாலும் மதிப்புக்குரியவையாகவே இருக்கும். சரியான வகை குறுக்கு-சரிபார்ப்பைத் தேர்ந்தெடுத்து, சிறந்த நடைமுறைகளைச் செயல்படுத்துவதன் மூலம், நிஜ உலகத் தரவுகளில் பயன்படுத்தத் தயாராக இருக்கும் மிகவும் நம்பகமான மாதிரிகளை நம்மால் உருவாக்க முடியும்.