Статистикадағы айқас валидация әдісі
Статистика мен деректер ғылымында ең үлкен қиындықтардың бірі - модельдің тек оқытылған деректермен ғана емес, сонымен қатар бұрын көрінбеген жаңа деректермен де жақсы жұмыс істеуін қамтамасыз ету. Бұл мәселе көбінесе жалпылау деп аталады. Міне, осы жерде айқаспалы валидация пайда болады: бір деректер жиынтығын пайдаланатын бір бағалауға қарағанда модельдің өнімділігін әділ және тұрақты түрде өлшеуге арналған модельді бағалау әдісі.
Неліктен айқас валидация қажет?
Біз болжамдық модельді құрған кезде – мысалы, үй бағаларын болжауға арналған регрессиялық модель немесе спамды анықтауға арналған жіктеу моделі – біз әдетте деректерді екі бөлікке бөлеміз: оқыту жиынтығы және тест жиынтығы. Модель оқыту деректері бойынша оқытылады, содан кейін тест деректері бойынша бағаланады. Бұл тәсіл қарапайым, бірақ оның кемшілігі бар: бағалау нәтижелері деректердің қалай бөлінгеніне байланысты болуы мүмкін. Егер тест деректері «оңай» болса, өнімділік жоғары болып көрінеді; егер тест деректері «қиын» болса, өнімділік төмен болып көрінеді.
Айқаспалы валидация әртүрлі деректер жиынтықтарында бірнеше оқыту және тестілеу процестерін орындау және содан кейін нәтижелерді орташалау арқылы бір деректер жиынына тәуелділікті азайтады. Бұл нақты әлемдегі жағдайларды көбірек көрсететін өнімділік бағаларына әкеледі.
Айқас валидацияның негізгі түсініктері
Айқас валидацияның мәні деректерді бірнеше бөлікке (бүртпелерге) бөлу болып табылады. Әрбір итерацияда модельді оқыту үшін кейбір бүктемелер, ал бір бүктеме модельді тексеру үшін қолданылады. Бұл процесс әрбір бүктеме тест деректері ретінде пайдаланылғанша қайталанады. Содан кейін әрбір итерациядан алынған бағалау ұпайлары модельдің жұмысына шолу жасау үшін біріктіріледі (әдетте орташа мәнмен, кейде стандартты ауытқумен де).
Мысалы, k=5 кезіндегі k-бөлшектелген айқас валидацияда деректер 5 бүктеуге бөлінеді. Бірінші итерация: 1-бөлімді сынақ ретінде, 2-5-бөлімдерін жаттығу ретінде. Екінші итерация: 2-бөлімді сынақ ретінде және тағы басқалар 5-бөлімге дейін.
Айқас валидацияның кең таралған түрлері
1. Күтуді тексеру (жаттығу-тестілеу бөлімі)
Техникалық тұрғыдан «қайталанатын» айқас валидация болмаса да, holdout әдісі көбінесе негізгі валидация қадамы болып саналады. Деректер бір рет бөлінеді, мысалы, 80% оқыту және 20% тестілеу. Артықшылығы - оның жылдам және қарапайым болуы, бірақ кемшілігі - нәтижелердегі жоғары дисперсия, себебі ол бір рет бөлуге негізделген.
Бұл әдіс әдетте деректер өте үлкен болған кезде қолданылады, сондықтан тіпті бір бөлімнің өзі жеткілікті репрезентативті болып табылады.
2. K-бөлмелі айқас валидациясы
Бұл айқаспалы валидацияның ең танымал түрі. k параметрі көбінесе 5 немесе 10 ретінде таңдалады, себебі ол есептеу құны мен бағалау сапасын теңестіреді деп саналады.
Артық:
– Деректерді тиімдірек пайдалану (әрбір деректер оқыту мен тестілеудің бөлігі болады).
– Өнімділік бағалары күтуге қарағанда тұрақтырақ.
Жетіспеушілік:
– Модельді k рет оқытатындықтан ұзағырақ уақыт алады.
– Егер деректер өте үлкен болса немесе модель өте күрделі болса, есептеу шығындары жоғары болуы мүмкін.
3. Стратификацияланған K-бүйірлі айқас валидациясы
Жіктеу есептері үшін, әсіресе сыныптар теңгерімсіз болса (мысалы, 90% теріс, 10% оң), тұрақты k-бөлінуі қисық сынып үлестірімдері бар бүктемелер тудыруы мүмкін. Стратификацияланған k-бөлінуі әрбір бүктемедегі сыныптардың үлесі бастапқы деректердегі сыныптардың үлесімен шамамен бірдей болуын қамтамасыз етеді.
Бұл әсіресе ауруларды анықтау модельдерін, алаяқтықты немесе азшылық тобы аз болатын басқа жағдайларды бағалауда маңызды.
4. Біреуін қалдырып, айқас валидация (LOOCV)
LOOCV-де бүктемелер саны деректер көлеміне тең (k = n). Бұл әрбір итерацияда тек бір бақылау сынақ деректеріне, ал қалғандары жаттығу деректеріне айналатынын білдіреді.
Артық:
– Әрбір итерацияда барлық дерлік деректер оқыту үшін пайдаланылады, сондықтан бағалау ауытқуы аз болуы мүмкін.
Жетіспеушілік:
– Үлкен деректер жиынтығы үшін есептеулер өте қымбат.
– Кейбір есеп түрлерінде бағалау дисперсиясы жоғары болуы мүмкін, себебі тест жинағы әр итерация үшін тек бір ұпайдан тұрады.
LOOCV көбінесе деректер өте аз болған кезде қолданылады, мысалы, үлгі көлемі аз зерттеу.
5. Қайталанатын K-бөлмелі айқас валидациясы
Бұл әдіс k-бөлуді әртүрлі (кездейсоқ) бүктеу тағайындауларымен бірнеше рет қайталайды. Мақсат - бір бүктеу тағайындауына тәуелділікті азайту және тұрақтырақ бағалаулар жасау.
Мысалы, «10 рет қайталау 3 рет» дегеніміз 10 рет 3 рет жүгіру дегенді білдіреді (барлығы 30 жаттығу және бағалау).
6. Уақыт қатарларының айқас валидациясы
Уақыттық қатарлар деректері үшін дәстүрлі айқаспалы тексеру қолайлы емес, себебі ол оқыту процесіне «болашақты ағызу» мүмкін. Уақыттық қатарларда уақыттық тәртіп сақталуы керек. Сондықтан, келесідей тәсілдер қолданылады:
– Айналмалы/сырғанайтын терезе: бастапқы кезеңде жаттығу, содан кейін келесі кезеңде сынақтан өту, содан кейін терезе ауысады.
– Терезенің кеңеюі: оқыту деректері уақыт өте келе артады, содан кейін келесі кезеңде тексеріледі.
Бұл әдіс ай сайынғы сату болжамы, акция бағалары немесе нақты уақыт режиміндегі сенсорлар үшін өзекті.
Айқас валидациядағы бағалау көрсеткіштері
Айқас валидация тек бағалау жүйесі болып табылады; қолданылатын көрсеткіштер мәселенің түріне байланысты:
– Регрессия: MSE, RMSE, MAE, R-квадрат.
– Жіктеу: дәлдік, дәлдік, еске түсіру, F1-ұпай, ROC-AUC.
– Теңгерімсіз жіктеу: ROC-AUC, PR-AUC (дәлдікпен еске түсіру), теңгерімді дәлдік.
Айқас валидация нәтижелері әдетте метрикалық орташа мән және стандартты ауытқу ретінде көрсетіледі (мысалы, дәлдік 0,89 ± 0,03). Стандартты ауытқу модельдің тұрақтылығын түсінуге көмектеседі.
Модельді таңдау және параметрлерді реттеу үшін айқас валидация
Айқас валидацияның негізгі қолданылуының бірі - модельді таңдау және гиперпараметрді баптау. Мысалы:
– k-NN ішінде k таңдау.
– Шешім ағашынан максималды тереңдікті таңдаңыз.
– Ридж/лассо регрессиясындағы регуляризация параметрлерін анықтаңыз.
– SVM-дегі C және гамманы анықтаңыз.
Жақсы тәжірибеде, баптау процесі оқыту деректерінде айқаспалы валидацияны қолдану арқылы орындалады, ал соңғы сынақ деректері соңғы бағалау үшін бөлек сақталады. Бұл модельдің бағалау деректеріне шамадан тыс сәйкестендірілгеніне байланысты «шамадан тыс оптимизмнің» алдын алады.
Неғұрлым қатаң тәсіл ішкі кросс-валидация деп аталады, ол кросс-валидация ішіндегі кросс-валидация: сыртқы цикл бағалау үшін, ішкі цикл баптау үшін. Бұл зерттеулерде танымал, себебі ол объективті өнімділік бағаларын береді.
Айқас валидацияның артықшылықтары мен шектеулері
Негізгі артықшылықтары:
1. Бір бөлімге қарағанда тұрақтырақ өнімділік бағалауларын ұсынады.
2. Деректерді тиімді пайдаланыңыз, әсіресе деректер жиынтығы аз болған кезде.
3. Жалпы үлгіні таңдауға көмектеседі және шамадан тыс сәйкес келу қаупін азайтады.
Кетербатасан:
1. Оқыту бірнеше рет қайталанған сайын есептеу шығындары артады.
2. Алдын ала өңдеу дұрыс жүргізілмесе, деректердің ағып кетуі әлі де орын алуы мүмкін.
3. Топтастырылған деректер үшін (мысалы, бірнеше жазбасы бар пациент деректері), бір адам пойызда пайда болып, бір уақытта тестілеуден өтпеуі үшін топтық k-бөлім сияқты арнайы әдіс қажет.
Айқас валидацияны қолданудағы жақсы тәжірибелер
Бағалаудың тиімді болуы үшін бірнеше маңызды қағидаларды сақтау қажет:
– Барлық деректер үшін бір рет емес, әрбір бүкте алдын ала өңдеуді (қалыпқа келтіру, импутациялау, ерекшеліктерді таңдау) орындаңыз. Әйтпесе, сынақ бүктемесіндегі ақпарат топқа ағып кетуі мүмкін.
– Теңгерімсіз кластармен жіктеу үшін стратификацияланған k-бұрылысын пайдаланыңыз.
– Уақыт қатары деректері үшін реттілік бұзылмауы үшін арнайы схеманы пайдаланыңыз.
– Егер мақсатыңыз модельді орналастырмас бұрын оның соңғы өнімділігін бағалау болса, соңғы сынақ жиынтығын бөлек қойыңыз.
Жабу
Айқаспалы валидация қолданбалы статистика мен машиналық оқытуда модельдің өнімділігін әділ және сенімді бағалауға арналған негізгі құрал болып табылады. Деректерді қайталап бөлісуді пайдалану арқылы айқаспалы валидация оқыту-тест бөлу таңдауынан туындаған ауытқуларды азайтуға көмектеседі, шамадан тыс сәйкестендіруді анықтайды және модельді таңдау мен гиперпараметрді реттеуді қолдайды. Есептеу құны жоғары болғанымен, пайдасы көбінесе тұрарлық, әсіресе деректер жиынтығы аз болғанда немесе модель нәтижелеріне негізделген шешімдер айтарлықтай салдарға әкеп соқтырған кезде. Айқаспалы валидацияның дұрыс түрін таңдау және ең жақсы тәжірибелерді енгізу арқылы біз нақты әлемдегі деректерде пайдалануға дайын сенімдірек модельдер құра аламыз.
