Խաչաձև վավերացման մեթոդը վիճակագրության մեջ

Խաչաձև վավերացման մեթոդը վիճակագրության մեջ

Վիճակագրության և տվյալագիտության մեջ ամենամեծ մարտահրավերներից մեկը մոդելի ոչ միայն այն տվյալների վրա լավ աշխատանքի ապահովումն է, որոնց վրա այն մարզվել է, այլև նոր, նախկինում չտեսնված տվյալների վրա լավ աշխատանքի ապահովումը: Այս խնդիրը հաճախ անվանում են ընդհանրացում: Ահա թե որտեղ է գործի դրվում խաչաձև վավերացումը. մոդելի գնահատման մեթոդ, որը նախատեսված է մոդելի արդյունավետությունը ավելի արդարացի և հետևողականորեն չափելու համար, քան մեկ տվյալների հավաքածուի միջոցով մեկ գնահատումը:

Ինչո՞ւ է անհրաժեշտ խաչաձև վավերացումը։

Երբ մենք կառուցում ենք կանխատեսողական մոդել, օրինակ՝ ռեգրեսիոն մոդել՝ տների գները կանխատեսելու կամ դասակարգման մոդել՝ սպամը հայտնաբերելու համար, մենք սովորաբար տվյալները բաժանում ենք երկու մասի՝ մարզման հավաքածու և թեստային հավաքածու։ Մոդելը մարզվում է մարզման տվյալների հիման վրա, ապա գնահատվում թեստային տվյալների հիման վրա։ Այս մոտեցումը պարզ է, բայց ունի մեկ թերություն. գնահատման արդյունքները կարող են մեծապես կախված լինել նրանից, թե ինչպես են տվյալները բաժանվում։ Եթե թեստային տվյալները պատահաբար «հեշտ» են, ապա արդյունավետությունը թվում է բարձր, իսկ եթե թեստային տվյալները պատահաբար «դժվար» են, ապա արդյունավետությունը թվում է ցածր։

Խաչաձև վավերացումը նվազեցնում է մեկ տվյալների բազմությունից կախվածությունը՝ տարբեր տվյալների բազմությունների վրա բազմաթիվ վերապատրաստման և փորձարկման գործընթացներ իրականացնելով, ապա արդյունքները միջինացնելով։ Սա հանգեցնում է կատարողականի գնահատականների, որոնք ավելի ներկայացուցչական են իրական աշխարհի պայմանների համար։

Խաչաձև վավերացման հիմնական հասկացությունները

Խաչաձև վավերացման էությունը տվյալները մի քանի մասերի (ծալքերի) բաժանելն է: Յուրաքանչյուր իտերացիայի ժամանակ մի քանի ծալքեր օգտագործվում են մոդելը մարզելու համար, իսկ մեկ ծալք՝ մոդելը ստուգելու համար: Այս գործընթացը կրկնվում է մինչև յուրաքանչյուր ծալքը օգտագործվի որպես փորձարկման տվյալներ: Յուրաքանչյուր իտերացիայի գնահատման միավորները այնուհետև համակցվում են (սովորաբար միջինի, իսկ երբեմն նաև ստանդարտ շեղման հետ)՝ մոդելի աշխատանքի ընդհանուր պատկերացում կազմելու համար:

Օրինակ՝ k-ծալովի խաչաձև վավերացման դեպքում k=5-ով տվյալները բաժանվում են 5 ծալքի։ Առաջին իտերացիա՝ ծալեք 1-ը որպես թեստ, ծալեք 2-5-ը որպես մարզում։ Երկրորդ իտերացիա՝ ծալեք 2-ը որպես թեստ, և այսպես շարունակ մինչև 5-ը։

Խաչաձև վավերացման տարածված տեսակները

1. Հերթափոխի վավերացում (գնացքի և թեստի բաժանում)
Թեև տեխնիկապես «կրկնվող» խաչաձև վավերացում չէ, պահման մեթոդը հաճախ համարվում է վավերացման հիմնական քայլ։ Տվյալները բաժանվում են մեկ անգամ, օրինակ՝ 80% ուսուցում և 20% թեստավորում։ Առավելությունն այն է, որ այն արագ և պարզ է, բայց թերությունը արդյունքների բարձր շեղումն է, քանի որ այն հիմնված է մեկ բաժանման վրա։

Այս մեթոդը սովորաբար օգտագործվում է, երբ տվյալները շատ մեծ են, որպեսզի նույնիսկ մեկ բաժանումը բավականաչափ ներկայացուցչական լինի։

2. K-Fold խաչաձև վավերացում
Սա խաչաձև վավերացման ամենատարածված ձևն է։ k պարամետրը հաճախ ընտրվում է 5 կամ 10, քանի որ այն համարվում է հաշվարկային արժեքի և գնահատման որակի հավասարակշռող միջոց։

Ավելորդ:
– Տվյալների ավելի արդյունավետ օգտագործում (յուրաքանչյուր տվյալ դառնում է վերապատրաստման և փորձարկման մաս):
– Արդյունավետության գնահատականներն ավելի կայուն են, քան պահումը։

Բացակայություն:
– Ավելի երկար է տևում, քանի որ մոդելը մարզվում է k անգամ։
– Եթե տվյալները շատ մեծ են կամ մոդելը շատ բարդ է, հաշվարկային ծախսերը կարող են բարձր լինել։

3. Շերտավորված K-Fold խաչաձև վավերացում
Դասակարգման խնդիրների դեպքում, հատկապես, եթե դասերը անհավասարակշիռ են (օրինակ՝ 90% բացասական, 10% դրական), կանոնավոր k-ծալքը կարող է առաջացնել ծալքեր՝ դասային բաշխումների շեղումով։ Շերտավորված k-ծալքը ապահովում է, որ յուրաքանչյուր ծալքում դասերի համամասնությունը մոտավորապես նույնն է, ինչ դասերի համամասնությունը սկզբնական տվյալներում։

Սա հատկապես կարևոր է հիվանդությունների հայտնաբերման մոդելների, խարդախության կամ այլ դեպքերի գնահատման ժամանակ, երբ փոքրամասնությունների դասը փոքր է։

4. Մեկը բաց թողնելու խաչաձև վավերացում (LOOCV)
LOOCV-ում ծալքերի քանակը հավասար է տվյալների քանակին (k = n): Սա նշանակում է, որ յուրաքանչյուր իտերացիայում միայն մեկ դիտարկում է դառնում թեստային տվյալ, մինչդեռ մնացածը դառնում են մարզման տվյալներ:

Ավելորդ:
– Գրեթե բոլոր տվյալները օգտագործվում են յուրաքանչյուր իտերացիայի մարզման համար, ուստի գնահատման շեղումը կարող է փոքր լինել։

Բացակայություն:
– Հաշվարկային առումով շատ թանկ է մեծ տվյալների հավաքածուների համար։
– Գնահատման շեղումը կարող է բարձր լինել որոշ տեսակի խնդիրներում, քանի որ թեստային հավաքածուն յուրաքանչյուր իտերացիայի համար կազմում է ընդամենը մեկ կետ։

LOOCV-ն հաճախ օգտագործվում է, երբ շատ քիչ տվյալներ կան, օրինակ՝ փոքր նմուշի չափով հետազոտությունների դեպքում։

5. Կրկնակի K-Fold խաչաձև վավերացում
Այս մեթոդը k-ծալումը կրկնում է բազմիցս՝ տարբեր (պատահական) ծալման վերագրումներով։ Նպատակն է նվազեցնել կախվածությունը մեկ ծալման վերագրումից և ստանալ ավելի կայուն գնահատականներ։

Օրինակ՝ «10 անգամ կրկնել 3 անգամ» նշանակում է 10 անգամ 3 անգամ վազել (ընդհանուր 30 մարզում և գնահատում):

6. Ժամանակային շարքերի խաչաձև վավերացում
Ժամանակային շարքերի տվյալների համար ավանդական խաչաձև վավերացումը հարմար չէ, քանի որ այն կարող է «ապագան արտահոսել» ուսուցման գործընթացի մեջ։ Ժամանակային շարքերում պետք է պահպանվի ժամանակային կարգը։ Հետևաբար, այնպիսի մոտեցումներ, ինչպիսիք են՝
– Շարժական/սահող պատուհան. մարզվել սկզբնական շրջանում, ապա փորձարկել հաջորդ շրջանում, ապա պատուհանը տեղաշարժվել է։
– Ընդլայնվող պատուհան. մարզման տվյալները ժամանակի ընթացքում ավելանում են, այնուհետև փորձարկվում են հաջորդ ժամանակահատվածում։

Այս մեթոդը վերաբերում է ամսական վաճառքի կանխատեսմանը, բաժնետոմսերի գներին կամ իրական ժամանակի սենսորներին։

Գնահատման չափանիշներ խաչաձև վավերացման մեջ

Խաչաձև վավերացումը միայն գնահատման շրջանակ է. օգտագործվող չափանիշները կախված են խնդրի տեսակից՝
– Ռեգրեսիա՝ MSE, RMSE, MAE, R-քառակուսի։
– Դասակարգում՝ ճշգրտություն, ճշգրտություն, հետկանչելիություն, F1 միավոր, ROC-AUC։
– Անհավասարակշիռ դասակարգում՝ ROC-AUC, PR-AUC (ճշգրիտ-հիշողություն), հավասարակշռված ճշգրտություն։

Խաչաձև վավերացման արդյունքները սովորաբար ներկայացվում են որպես մետրիկ միջին և ստանդարտ շեղում (օրինակ՝ ճշգրտություն՝ 0,89 ± 0,03): Ստանդարտ շեղումը օգնում է հասկանալ մոդելի կայունությունը:

Մոդելի ընտրության և պարամետրերի կարգավորման խաչաձև վավերացում

Խաչաձև վավերացման հիմնական կիրառություններից մեկը մոդելի ընտրությունն ու հիպերպարամետրերի կարգավորումն է։ Օրինակ՝
– k-ի ընտրությունը k-NN-ում։
– Ընտրեք որոշումների ծառի առավելագույն խորությունը։
– Որոշեք կանոնավորացման պարամետրերը ridge/lasso ռեգրեսիայում։
– Որոշեք C-ն և գամման SVM-ում։

Լավ պրակտիկայում, կարգավորման գործընթացը կատարվում է մարզման տվյալների վրա՝ օգտագործելով խաչաձև վավերացում, մինչդեռ վերջնական փորձարկման տվյալները պահվում են առանձին՝ վերջնական գնահատման համար: Սա կանխում է «չափազանց լավատեսությունը», որը պայմանավորված է մոդելի գնահատման տվյալներին չափազանց հարմարեցմամբ:

Ավելի խիստ մոտեցումը կոչվում է ներդրված խաչաձև վավերացում, որը խաչաձև վավերացում է խաչաձև վավերացման ներսում. արտաքին ցիկլը նախատեսված է գնահատման համար, ներքին ցիկլը՝ կարգավորման համար: Սա տարածված է հետազոտություններում, քանի որ այն ապահովում է ավելի անաչառ կատարողականի գնահատականներ:

Խաչաձև վավերացման առավելություններն ու սահմանափակումները

Հիմնական առավելությունները՝
1. Ապահովում է ավելի կայուն կատարողականի գնահատականներ, քան մեկ բաժանումը։
2. Տվյալները արդյունավետ օգտագործեք, հատկապես, երբ տվյալների բազմությունը փոքր է։
3. Օգնում է ընտրել ավելի ընդհանուր մոդել և նվազեցնում է գերհարմարեցման ռիսկը։

Կետերբաթասան:
1. Հաշվողական ծախսերը մեծանում են, քանի որ ուսուցումը բազմիցս կրկնվում է։
2. Տվյալների արտահոսք կարող է տեղի ունենալ, եթե նախնական մշակումը պատշաճ կերպով չի կատարվում։
3. Խմբավորված տվյալների համար (օրինակ՝ մի քանի գրառում ունեցող հիվանդի տվյալներ) անհրաժեշտ է հատուկ մեթոդ, օրինակ՝ խմբային k-ծալումը, որպեսզի մեկ անհատ միաժամանակ չհայտնվի գնացքում և թեստում։

Խաչաձև վավերացման օգտագործման լավ պրակտիկաներ

Որպեսզի գնահատումը լինի ճշգրիտ, պետք է պահպանվեն մի քանի կարևոր սկզբունքներ.
– Կատարեք նախնական մշակում (նորմալացում, իմպուտացիա, հատկանիշների ընտրություն) յուրաքանչյուր ծալքի ներսում, այլ ոչ թե մեկ անգամ ամբողջ տվյալների համար։ Հակառակ դեպքում, փորձարկման ծալքից տեղեկատվությունը կարող է արտահոսել գնացքի ծալքի մեջ։
– Անհավասարակշիռ դասերով դասակարգման համար օգտագործեք շերտավորված k-ծալքավորումը։
– Ժամանակային շարքերի տվյալների համար օգտագործեք հատուկ սխեմա, որպեսզի կարգը չխախտվի։
– Եթե ձեր նպատակը մոդելի վերջնական կատարողականի գնահատումն է տեղակայումից առաջ, մի կողմ դրեք վերջնական թեստային հավաքածուն։

Penutup

Խաչաձև վավերացումը կիրառական վիճակագրության և մեքենայական ուսուցման հիմնարար գործիք է մոդելի կատարողականն ավելի արդար և հուսալիորեն գնահատելու համար: Տվյալների կրկնակի փոխանակումն օգտագործելով՝ խաչաձև վավերացումը օգնում է նվազեցնել գնացքի թեստի բաժանման ընտրության հետևանքով առաջացած կողմնակալությունը, հայտնաբերում է գերհարմարեցումը և աջակցում է մոդելի ընտրությանը և հիպերպարամետրերի կարգավորմանը: Չնայած հաշվողական ծախսն ավելի բարձր է, օգուտները հաճախ արժեն դրան, հատկապես, երբ տվյալների բազմությունը փոքր է, կամ երբ մոդելի արդյունքների վրա հիմնված որոշումները զգալի հետևանքներ ունեն: Խաչաձև վավերացման ճիշտ տեսակը ընտրելով և լավագույն փորձը ներդնելով՝ մենք կարող ենք կառուցել ավելի հուսալի մոդելներ, որոնք պատրաստ կլինեն օգտագործելու իրական աշխարհի տվյալների վրա: