Метод на вкрстена валидација во статистиката
Во статистиката и науката за податоци, еден од најголемите предизвици е да се обезбеди дека моделот не само што добро функционира на податоците на кои е обучен, туку и добро функционира на нови, претходно невидени податоци. Овој проблем често се нарекува генерализација. Тука влегува во игра вкрстената валидација: метод за евалуација на модел дизајниран да ги мери перформансите на моделот пофер и поконзистентно отколку единечна евалуација со користење на еден збир на податоци.
Зошто е потребна вкрстена валидација?
Кога градиме предикативен модел - на пример, регресивен модел за предвидување на цените на куќите или модел на класификација за откривање на спам - обично ги делиме податоците на два дела: сет за обука и сет за тестирање. Моделот се обучува врз основа на податоците за обука, а потоа се оценува врз основа на податоците за тестирање. Овој пристап е едноставен, но има недостаток: резултатите од евалуацијата можат многу да зависат од тоа како се поделени податоците. Ако податоците за тестирање се „лесни“, перформансите изгледаат високи; ако податоците за тестирање се „тешки“, перформансите изгледаат ниски.
Вкрстената валидација ја намалува зависноста од еден збир на податоци со извршување на повеќе процеси на обука и тестирање на различни збирови на податоци, а потоа пресметување на просекот на резултатите. Ова резултира со проценки на перформансите кои се порепрезентативни за условите во реалниот свет.
Основни концепти на вкрстена валидација
Суштината на вкрстената валидација е делење на податоците на неколку делови (превиткувања). При секоја итерација, неколку превиткувања се користат за обука на моделот, а едно превиткување се користи за тестирање на моделот. Овој процес се повторува сè додека секое превиткување не се искористи како тест податоци. Резултатите од евалуацијата од секоја итерација потоа се комбинираат (обично со средната вредност, а понекогаш и со стандардната девијација ) за да се обезбеди преглед на перформансите на моделот.
На пример, при k-преклопна вкрстена валидација со k=5, податоците се поделени на 5 преклопувања. Првата итерација: преклопете 1 како тест, преклопете 2–5 како обука. Втората итерација: преклопете 2 како тест, и така натаму до преклопување 5.
Вообичаени видови на вкрстена валидација
1. Валидација на чекање (Тест-поделба на обука)
Иако технички не е „повторена“ вкрстена валидација, методот на задржување често се смета за основен чекор за валидација. Податоците се делат еднаш, на пример, 80% обука и 20% тестирање. Предноста е што е брз и едноставен, но недостатокот е големата варијанса во резултатите бидејќи се потпира на едно делење.
Овој метод обично се користи кога податоците се многу големи, така што дури и една поделба е доволно репрезентативна.
2. Вкрстена валидација со K-превиткување
Ова е најпопуларната форма на вкрстена валидација. Параметарот k често се избира како 5 или 10 бидејќи се смета дека ги балансира трошоците за пресметување и квалитетот на проценката.
Вишок:
– Поефикасно користење на податоците (секој податок станува дел од обуката и тестирањето).
– Проценките на перформансите се постабилни од оние на чекање.
Недостаток:
– Потребно е подолго бидејќи го тренира моделот k пати.
– Ако податоците се многу големи или моделот е многу сложен, пресметковните трошоци може да бидат високи.
3. Стратифицирана K-преклопна вкрстена валидација
За проблеми со класификација, особено ако класите се неурамнотежени (на пр., 90% негативни, 10% позитивни), редовното k-превиткување може да произведе превиткувања со искривени распределби на класи. Стратификуваното k-превиткување осигурува дека пропорцијата на класи во секое превиткување е приближно иста како и пропорцијата на класи во оригиналните податоци.
Ова е особено важно при оценување на модели за откривање на болести, измами или други случаи каде што малцинската класа е мала.
4. Вкрстена валидација со изоставување на едно (LOOCV)
Во LOOCV, бројот на превиткувања е еднаков на количината на податоци (k = n). Ова значи дека во секоја итерација, само едно набљудување станува тест податок, додека останатите стануваат податоци за обука.
Вишок:
– Речиси сите податоци се користат за обука при секоја итерација, така што пристрасноста на проценката може да биде мала.
Недостаток:
– Многу пресметковно скапо за големи множества податоци.
– Варијансата на проценката може да биде висока кај некои типови проблеми бидејќи тест-множеството е само една точка по итерација.
LOOCV често се користи кога има многу малку податоци, на пример, истражување со мала големина на примерокот.
5. Повторена вкрстена валидација со K-превиткување
Овој метод го повторува k-превиткувањето повеќе пати со различни (случајни) распределби на превиткувања. Целта е да се намали зависноста од распределба на едно превиткување и да се добијат постабилни проценки.
На пример, „10 пати повторено 3 пати“ значи трчање 10 пати 3 пати (вкупно 30 тренинзи и евалуации).
6. Вкрстена валидација на временски серии
За податоци од временски серии, конвенционалната вкрстена валидација не е соодветна бидејќи може да „протече иднината“ во процесот на обука. Во временските серии, временскиот редослед мора да се зачува. Затоа, пристапи како што се:
– Ролинг/Лизгачки прозорец: тренирајте во почетниот период, потоа тестирајте во следниот период, а потоа прозорецот се поместува.
– Проширувачки прозорец: податоците за обука се зголемуваат со текот на времето, а потоа се тестираат во следниот период.
Овој метод е релевантен за месечно предвидување на продажбата, цените на акциите или сензорите во реално време.
Метрики за евалуација во вкрстена валидација
Вкрстената валидација е само рамка за евалуација; користените метрики зависат од видот на проблемот:
– Регресија: MSE, RMSE, MAE, R-квадрат.
– Класификација: точност, прецизност, отповикливост, F1-резултат, ROC-AUC.
– Неурамнотежена класификација: ROC-AUC, PR-AUC (прецизност-потсетување), избалансирана точност.
Резултатите од вкрстената валидација обично се прикажуваат како метричка средна вредност и стандардна девијација (на пр., точност 0,89 ± 0,03). Стандардната девијација помага да се разбере стабилноста на моделот.
Вкрстена валидација за избор на модел и подесување на параметри
Една од главните употреби на вкрстената валидација е изборот на модел и подесувањето на хиперпараметрите. На пример:
– Избор на k во k-NN.
– Изберете ја максималната длабочина во дрвото на одлуки.
– Определете ги параметрите за регуларизација во гребен/ласо регресија.
– Определете C и гама во SVM.
Во добра пракса, процесот на подесување се извршува врз податоците за обука со користење на вкрстена валидација, додека конечните податоци од тестирањето се чуваат одделно за конечна евалуација. Ова го спречува „преголемиот оптимизам“ поради преоптоварување на моделот со податоците за евалуација.
Поригорозен пристап се нарекува вгнездена вкрстена валидација, што е вкрстена валидација во рамките на вкрстената валидација: надворешната јамка е за евалуација, внатрешната јамка е за подесување. Ова е популарно во истражувањата бидејќи обезбедува понепристрасни проценки на перформансите.
Предности и ограничувања на вкрстената валидација
Главни предности:
1. Обезбедува постабилни проценки на перформансите отколку единечната поделба.
2. Ефикасно користење на податоците, особено кога збирот на податоци е мал.
3. Помага при избор на поопшт модел и го намалува ризикот од преоптоварување.
Ограничувања:
1. Пресметковните трошоци се зголемуваат како што обуката се повторува многу пати.
2. Протекување на податоци сè уште може да се случи ако претходната обработка не е извршена правилно.
3. За групирани податоци (на пример, податоци за пациенти кои имаат неколку записи), потребен е посебен метод, како што е групно k-преклопување, така што една индивидуа не се појавува во возот и тестот истовремено.
Добри практики во користењето на вкрстена валидација
За да биде валидна евалуацијата, мора да се почитуваат неколку важни принципи:
– Извршете претходна обработка (нормализација, импутација, избор на карактеристики) во рамките на секој преклоп, а не еднаш за сите податоци. Во спротивно, информациите од тест преклопот би можеле да протекуваат во преклопот на возот.
– Користете стратифицирано k-преклопување за класификација со неурамнотежени класи.
– Користете посебна шема за податоци од временски серии за да не се наруши редоследот.
– Одвојте го финалниот тест сет ако вашата цел е да ги процените конечните перформанси на моделот пред распоредувањето.
Затворање
Вкрстената валидација е фундаментална алатка во применетата статистика и машинското учење за пофер и поробусно оценување на перформансите на моделот. Со користење на повторено споделување на податоци, вкрстената валидација помага да се намали пристрасноста предизвикана од селекцијата на поделен тест за обука, открива преоптоварување и поддржува избор на модел и подесување на хиперпараметри. Иако пресметковните трошоци се повисоки, придобивките честопати се исплатливи, особено кога множеството податоци е мало или кога одлуките врз основа на резултатите од моделот имаат значајни последици. Со избирање на вистинскиот тип на вкрстена валидација и имплементирање на најдобри практики, можеме да изградиме посигурни модели кои се подготвени за употреба на податоци од реалниот свет.
