Статистикийн хөндлөн баталгаажуулалтын арга
Статистик болон өгөгдлийн шинжлэх ухаанд хамгийн том бэрхшээлүүдийн нэг бол загвар нь зөвхөн сургагдсан өгөгдөл дээрээ сайн ажиллахаас гадна өмнө нь үзэгдээгүй шинэ өгөгдөл дээрээ ч сайн ажиллахыг баталгаажуулах явдал юм. Энэ асуудлыг ихэвчлэн ерөнхийлөн дүгнэх гэж нэрлэдэг. Энэ бол хөндлөн баталгаажуулалт юм: ганц өгөгдлийн багц ашиглан ганц үнэлгээ хийхээс илүү загварын гүйцэтгэлийг илүү шударга, тууштай хэмжих зориулалттай загварын үнэлгээний арга.
Яагаад хөндлөн баталгаажуулалт шаардлагатай вэ?
Бид урьдчилан таамаглах загвар бүтээхдээ - жишээлбэл, орон сууцны үнийг урьдчилан таамаглах регрессийн загвар эсвэл спам илрүүлэх ангиллын загвар гэх мэт - өгөгдлийг ихэвчлэн хоёр хэсэгт хуваадаг: сургалтын багц ба туршилтын багц. Загварыг сургалтын өгөгдөл дээр сургаж, дараа нь туршилтын өгөгдөл дээр үнэлдэг. Энэ арга нь энгийн боловч сул талтай: үнэлгээний үр дүн нь өгөгдлийг хэрхэн хувааж байгаагаас ихээхэн хамаарч болно. Хэрэв туршилтын өгөгдөл "хялбар" бол гүйцэтгэл өндөр, хэрэв туршилтын өгөгдөл "хэцүү" бол гүйцэтгэл бага байх болно.
Хөндлөн баталгаажуулалт нь өөр өөр өгөгдлийн багц дээр олон сургалт, туршилтын процессуудыг гүйцэтгэж, дараа нь үр дүнг дундажлах замаар нэг өгөгдлийн багцад найдах явдлыг бууруулдаг. Энэ нь бодит ертөнцийн нөхцөл байдлыг илүү төлөөлсөн гүйцэтгэлийн тооцооллыг бий болгодог.
Хөндлөн баталгаажуулалтын үндсэн ойлголтууд
Хөндлөн баталгаажуулалтын мөн чанар нь өгөгдлийг хэд хэдэн хэсэгт (нугалаа) хуваах явдал юм. Давталт бүрт зарим нугалаасыг загварыг сургахад, нэг нугалаасыг загварыг туршихад ашигладаг. Энэ үйл явцыг нугалаа бүрийг туршилтын өгөгдөл болгон ашиглах хүртэл давтана. Дараа нь давталт бүрийн үнэлгээний оноог (ихэвчлэн дундаж, заримдаа стандарт хазайлттай) нэгтгэн загварын гүйцэтгэлийн тоймыг гаргадаг.
Жишээлбэл, k=5-тай k-нугалаастай хөндлөн баталгаажуулалтын үед өгөгдлийг 5 нугалаас болгон хуваадаг. Эхний давталт: 1-ийг туршилт болгон нугалж, 2-5-ыг сургалт болгон нугалж. Хоёр дахь давталт: 2-ыг туршилт болгон нугалж, гэх мэтчилэн 5 нугалаас хүртэл үргэлжилнэ.
Хөндлөн баталгаажуулалтын нийтлэг төрлүүд
1. Хүлээн авах баталгаажуулалт (Сургалт-Туршилтын хуваалт)
Техникийн хувьд "давтан" хөндлөн баталгаажуулалт биш боловч holdout аргыг ихэвчлэн үндсэн баталгаажуулалтын алхам гэж үздэг. Өгөгдлийг нэг удаа хуваадаг, жишээлбэл, 80% сургалт, 20% туршилт. Давуу тал нь хурдан бөгөөд энгийн боловч сул тал нь ганц хуваалтаас хамаардаг тул үр дүнгийн өндөр хэлбэлзэл юм.
Энэ аргыг ихэвчлэн өгөгдөл маш том байх үед ашигладаг бөгөөд ингэснээр нэг хэлтэс ч хангалттай төлөөлөх боломжтой байдаг.
2. K-Fold Cross Validation
Энэ бол хөндлөн баталгаажуулалтын хамгийн түгээмэл хэлбэр юм. k параметрийг ихэвчлэн 5 эсвэл 10 гэж сонгодог, учир нь энэ нь тооцооллын зардал болон тооцооллын чанарыг тэнцвэржүүлдэг гэж үздэг.
Илүүдэл:
– Өгөгдлийг илүү үр ашигтай ашиглах (өгөгдөл бүр сургалт болон туршилтын нэг хэсэг болдог).
– Гүйцэтгэлийн тооцоолол нь хүлээгдэж буй тооцооллоос илүү тогтвортой байдаг.
Дутмаг:
– Загварыг k удаа сургадаг тул илүү удаан хугацаа шаардагдана.
– Хэрэв өгөгдөл маш том эсвэл загвар нь маш нарийн төвөгтэй бол тооцооллын зардал өндөр байж болно.
3. Давхарласан K-нугалсан хөндлөн баталгаажуулалт
Ангиллын асуудлуудын хувьд, ялангуяа ангиуд тэнцвэргүй байвал (жишээлбэл, 90% сөрөг, 10% эерэг), ердийн k-нугалаа нь гажуудсан ангиллын тархалттай нугалаа үүсгэж болно. Давхарласан k-нугалаа нь нугалаа бүрийн ангиллын эзлэх хувь нь анхны өгөгдөл дэх ангиллын эзлэх хувьтай ойролцоогоор ижил байхыг баталгаажуулдаг.
Энэ нь өвчин илрүүлэх загвар, залилан мэхлэлт эсвэл цөөнхийн анги цөөн байгаа бусад тохиолдлыг үнэлэхэд онцгой чухал юм.
4. Нэгийг орхих хөндлөн баталгаажуулалт (LOOCV)
LOOCV-д нугалалтын тоо нь өгөгдлийн хэмжээтэй тэнцүү байна (k = n). Энэ нь давталт бүрт зөвхөн нэг ажиглалт нь туршилтын өгөгдөл болж, үлдсэн хэсэг нь сургалтын өгөгдөл болж хувирдаг гэсэн үг юм.
Илүүдэл:
– Бараг бүх өгөгдлийг давталт бүрт сургалтад ашигладаг тул тооцооллын алдаа бага байж болно.
Дутмаг:
– Том өгөгдлийн багцын хувьд тооцооллын хувьд маш үнэтэй.
– Зарим төрлийн бодлогуудад тооцооллын дисперс өндөр байж болно, учир нь туршилтын багц нь давталт бүрт зөвхөн нэг оноотой байдаг.
LOOCV-г ихэвчлэн маш бага өгөгдөл байгаа үед ашигладаг, жишээлбэл, бага хэмжээний түүврийн хэмжээтэй судалгаа хийх гэх мэт.
5. K-Fold хөндлөн баталгаажуулалтыг давтан хийх
Энэ арга нь k-нугалалтыг өөр өөр (санамсаргүй) нугалалтын хуваарилалтаар олон удаа давтдаг. Зорилго нь нэг нугалалтын хуваарилалтаас хамаарлыг бууруулж, илүү тогтвортой тооцоолол гаргах явдал юм.
Жишээлбэл, “10 удаа давтан 3 удаа” гэдэг нь 10 удаа 3 удаа гүйх гэсэн үг (нийт 30 сургалт, үнэлгээ).
6. Цагийн цувааны хөндлөн баталгаажуулалт
Цагийн цувааны өгөгдлийн хувьд уламжлалт хөндлөн баталгаажуулалт нь сургалтын үйл явцад "ирээдүйг алдагдуулж" болзошгүй тул тохиромжгүй. Цагийн цуваанд цаг хугацааны дарааллыг хадгалах ёстой. Тиймээс дараах аргуудыг хэрэглэнэ.
– Өнхрөх/Гулгах цонх: эхний үед бэлтгэл хийгээд дараагийн үед шалгалт өгөөд цонх шилжинэ.
– Цонхыг өргөжүүлэх: сургалтын өгөгдөл цаг хугацааны явцад нэмэгдэж, дараа нь дараагийн үед шалгагдана.
Энэ арга нь сарын борлуулалтын урьдчилсан мэдээ, хувьцааны үнэ эсвэл бодит цагийн мэдрэгчүүдэд хамааралтай.
Хөндлөн баталгаажуулалтын үнэлгээний үзүүлэлтүүд
Хөндлөн баталгаажуулалт нь зөвхөн үнэлгээний хүрээ юм; ашигласан үзүүлэлтүүд нь асуудлын төрлөөс хамаарна:
– Регресс: MSE, RMSE, MAE, R-квадрат.
– Ангилал: нарийвчлал, нарийвчлал, эргэн санах, F1 оноо, ROC-AUC.
– Тэнцвэргүй ангилал: ROC-AUC, PR-AUC (нарийвчлалтай санах), тэнцвэртэй нарийвчлал.
Хөндлөн баталгаажуулалтын үр дүнг ихэвчлэн метрик дундаж болон стандарт хазайлтаар мэдээлдэг (жишээлбэл, нарийвчлал 0,89 ± 0,03). Стандарт хазайлт нь загварын тогтвортой байдлыг ойлгоход тусалдаг.
Загвар сонгох болон параметрийн тохируулгын хөндлөн баталгаажуулалт
Хөндлөн баталгаажуулалтын гол хэрэглээний нэг бол загвар сонгох болон гиперпараметрийн тохируулга юм. Жишээлбэл:
– k-NN дотор k-г сонгох.
– Шийдвэрийн модноос хамгийн их гүнийг сонгоно уу.
– Ридж/лассо регресс дэх тогтмолжуулалтын параметрүүдийг тодорхойлно уу.
– SVM дахь C болон гамма тодорхойлох.
Сайн практикт тохируулгын процессыг сургалтын өгөгдөл дээр хөндлөн баталгаажуулалт ашиглан гүйцэтгэдэг бол эцсийн туршилтын өгөгдлийг эцсийн үнэлгээнд зориулж тусад нь хадгалдаг. Энэ нь загварыг үнэлгээний өгөгдөлд хэт тохируулснаас болж "хэт өөдрөг үзэл"-ээс сэргийлдэг.
Илүү нарийн аргыг үүрлэсэн хөндлөн баталгаажуулалт гэж нэрлэдэг бөгөөд энэ нь хөндлөн баталгаажуулалтын доторх хөндлөн баталгаажуулалт юм: гаднах гогцоо нь үнэлгээнд, дотоод гогцоо нь тохируулгад зориулагдсан. Энэ нь илүү шударга гүйцэтгэлийн тооцооллыг өгдөг тул судалгаанд түгээмэл байдаг.
Хөндлөн баталгаажуулалтын давуу болон хязгаарлалтууд
Үндсэн давуу талууд:
1. Ганц хэлтэстэй харьцуулахад илүү тогтвортой гүйцэтгэлийн тооцооллыг өгдөг.
2. Өгөгдлийг үр ашигтай ашиглах, ялангуяа өгөгдлийн багц бага байх үед.
3. Илүү ерөнхий загвар сонгоход тусалдаг бөгөөд хэт их тохируулга хийх эрсдэлийг бууруулдаг.
Кетербатасан:
1. Сургалтыг олон удаа давтах тусам тооцооллын зардал нэмэгддэг.
2. Урьдчилсан боловсруулалтыг зөв хийгээгүй тохиолдолд өгөгдөл алдагдсаар байж болно.
3. Бүлэглэсэн өгөгдлийн хувьд (жишээлбэл, хэд хэдэн бүртгэлтэй өвчтөний өгөгдөл) нэг хүн нэгэн зэрэг галт тэргэнд гарч ирээд шинжилгээ өгөхгүйн тулд бүлэг k-фолд гэх мэт тусгай арга хэрэгтэй.
Хөндлөн баталгаажуулалтыг ашиглах сайн туршлагууд
Үнэлгээг үр дүнтэй болгохын тулд хэд хэдэн чухал дүрмийг дагаж мөрдөх шаардлагатай:
– Бүх өгөгдлийн хувьд нэг удаа биш, харин нугалаа бүрийн дотор урьдчилсан боловсруулалт (хэвийн болгох, оруулах, онцлог сонголт) хийнэ. Үгүй бол туршилтын нугалаас гарсан мэдээлэл нь цувааны нугалаас руу алдагдаж болзошгүй.
– Тэнцвэргүй ангиллыг ангилахын тулд давхарласан k-нугалаасыг ашиглана уу.
– Цагийн цувааны өгөгдөлд зориулсан тусгай схемийг ашиглан дарааллыг зөрчихгүй байх.
– Хэрэв таны зорилго бол загварыг байршуулахаас өмнө эцсийн гүйцэтгэлийг үнэлэх юм бол эцсийн туршилтын багцыг хойш тавь.
Хаах
Хөндлөн баталгаажуулалт нь загварын гүйцэтгэлийг илүү шударга, найдвартай үнэлэх хэрэглээний статистик болон машин сургалтын үндсэн хэрэгсэл юм. Давтан өгөгдөл хуваалцахыг ашигласнаар хөндлөн баталгаажуулалт нь сургалтын туршилтын хуваасан сонголтоос үүдэлтэй алдааг багасгахад тусалдаг, хэт тохируулгыг илрүүлж, загварын сонголт болон гиперпараметрийн тохируулгыг дэмждэг. Тооцооллын зардал өндөр боловч ашиг тус нь ихэвчлэн үнэ цэнэтэй байдаг, ялангуяа өгөгдлийн багц бага эсвэл загварын үр дүнд үндэслэсэн шийдвэрүүд нь мэдэгдэхүйц үр дагавартай үед. Хөндлөн баталгаажуулалтын зөв төрлийг сонгож, шилдэг туршлагыг хэрэгжүүлснээр бид бодит ертөнцийн өгөгдөл дээр ашиглахад бэлэн илүү найдвартай загваруудыг бий болгож чадна.
