Статистикадагы кайчылаш текшерүү ыкмасы
Статистикада жана маалымат таанууда эң чоң кыйынчылыктардын бири - моделдин ал окутулган маалыматтар боюнча гана эмес, мурда көрүнбөгөн жаңы, маалыматтар боюнча да жакшы иштешин камсыз кылуу. Бул көйгөй көбүнчө жалпылоо деп аталат. Дал ушул жерде кайчылаш валидация пайда болот: бир гана маалымат топтомун колдонгон бир баалоого караганда, моделдин иштешин адилеттүү жана ырааттуу өлчөө үчүн иштелип чыккан моделди баалоо ыкмасы.
Эмне үчүн кайчылаш текшерүү керек?
Биз болжолдоо моделин түзгөндө — мисалы, үй бааларын алдын ала айтуу үчүн регрессиялык модель же спамды аныктоо үчүн классификация модели — биз адатта маалыматтарды эки бөлүккө бөлөбүз: окутуу топтому жана тест топтому. Модель окутуу маалыматтары боюнча окутулат, андан кийин тест маалыматтары боюнча бааланат. Бул ыкма жөнөкөй, бирок анын кемчилиги бар: баалоо жыйынтыктары маалыматтардын кандайча бөлүштүрүлгөнүнө көз каранды болушу мүмкүн. Эгерде тест маалыматтары "жеңил" болсо, анда аткаруу жогору көрүнөт; эгерде тест маалыматтары "татаал" болсо, анда аткаруу төмөн көрүнөт.
Кайчылаш текшерүү ар кандай маалымат топтомдорунда бир нече окутуу жана тестирлөө процесстерин жүргүзүү жана андан кийин жыйынтыктарды орточолоо аркылуу бир гана маалымат топтомуна болгон көз карандылыкты азайтат. Бул реалдуу дүйнөдөгү шарттарды көбүрөөк чагылдырган көрсөткүчтөрдүн баалоосуна алып келет.
Кайчылаш валидациянын негизги түшүнүктөрү
Кайчылаш текшерүүнүн маңызы маалыматтарды бир нече бөлүккө (бүктөмөлөргө) бөлүүдө. Ар бир итерацияда моделди окутуу үчүн бир нече бүктөмөлөр, ал эми бир бүктөмө моделди сыноо үчүн колдонулат. Бул процесс ар бир бүктөмө тесттик маалыматтар катары колдонулганга чейин кайталанат. Андан кийин ар бир итерациядан алынган баалоо упайлары бириктирилип (адатта орточо маани жана кээде стандарттык четтөө менен ) моделдин иштешине сереп салынат.
Мисалы, k=5 менен k-блок кайчылаш валидациясында маалыматтар 5 бүктөмгө бөлүнөт. Биринчи итерация: 1-блокту тест катары, 2–5-блокторду машыгуу катары. Экинчи итерация: 2-блокту тест катары жана 5-блокко чейин уланат.
Кайчылаш текшерүүнүн кеңири таралган түрлөрү
1. Күтүү убактысын текшерүү (Окутуу-тесттик бөлүнүү)
Техникалык жактан "кайталануучу" кайчылаш текшерүү болбосо да, кармоо ыкмасы көбүнчө негизги текшерүү кадамы деп эсептелет. Маалыматтар бир жолу бөлүнөт, мисалы, 80% окутуу жана 20% тестирлөө. Артыкчылыгы - ал тез жана жөнөкөй, бирок кемчилиги - натыйжалардагы жогорку дисперсия, анткени ал бир гана бөлүүгө негизделген.
Бул ыкма, адатта, маалыматтар өтө чоң болгондо колдонулат, ошондуктан бир эле бөлүм жетиштүү деңгээлде репрезентативдүү болуп саналат.
2. K-Fold кайчылаш текшерүүсү
Бул кайчылаш текшерүүнүн эң популярдуу түрү. k параметри көбүнчө 5 же 10 катары тандалып алынат, анткени ал эсептөө наркы менен баалоо сапатын тең салмактайт деп эсептелет.
Ашыкча:
– Маалыматтарды натыйжалуураак колдонуу (ар бир маалымат окутуу жана тестирлөөнүн бир бөлүгү болуп калат).
– Иштин натыйжалуулугун баалоо күтүүгө караганда туруктуураак.
Жок:
– Моделди k жолу үйрөткөндүктөн, көбүрөөк убакыт талап кылынат.
– Эгерде маалыматтар өтө чоң болсо же модель өтө татаал болсо, эсептөө чыгымдары жогору болушу мүмкүн.
3. Катмарланган K-бүктөлүүчү кайчылаш валидация
Классификация маселелери үчүн, айрыкча класстар тең салмактуу эмес болсо (мисалы, 90% терс, 10% оң), кадимки k-бүктөө кыйшык класстык бөлүштүрүүлөр менен бүктөмдөрдү пайда кылышы мүмкүн. Катмарланган k-бүктөө ар бир бүктөмдөгү класстардын үлүшү баштапкы маалыматтардагы класстардын үлүшү менен болжол менен бирдей болушун камсыздайт.
Бул өзгөчө ооруларды аныктоо моделдерин, алдамчылыкты же азчылык тобу аз болгон башка учурларды баалоодо маанилүү.
4. Бирди калтырып, кайчылаш текшерүү (LOOCV)
LOOCVде бүктөмдөрдүн саны маалыматтардын көлөмүнө барабар (k = n). Бул ар бир итерацияда бир гана байкоо тест маалыматтарына, ал эми калгандары окутуу маалыматтарына айланат дегенди билдирет.
Ашыкча:
– Ар бир итерацияда дээрлик бардык маалыматтар окутуу үчүн колдонулат, андыктан баалоо катасы аз болушу мүмкүн.
Жок:
– Чоң маалымат топтомдору үчүн эсептөө жагынан абдан кымбат.
– Айрым маселелердин түрлөрүндө баалоо дисперсиясы жогору болушу мүмкүн, анткени тест топтому бир итерацияда бир гана упайга барабар.
LOOCV көбүнчө маалыматтар өтө аз болгондо колдонулат, мисалы, үлгүнүн көлөмү аз болгон изилдөө.
5. Кайталанган K-Fold кайчылаш текшерүүсү
Бул ыкма k-бөлүүнү ар кандай (туш келди) бүктөм дайындоолор менен бир нече жолу кайталайт. Максат - бир бүктөм дайындоого көз карандылыкты азайтуу жана туруктуураак баалоолорду алуу.
Мисалы, "10 жолу кайталанган 3 жолу" дегени 10 жолу 3 жолу чуркоо дегенди билдирет (жалпысынан 30 машыгуу жана баалоо).
6. Убакыт серияларынын кайчылаш валидациясы
Убакыттык катарлардын маалыматтары үчүн кадимки кайчылаш текшерүү ылайыктуу эмес, анткени ал окутуу процессине "келечекти чыгарып жибериши" мүмкүн. Убакыттык катарларда убакыттык тартип сакталышы керек. Ошондуктан, төмөнкү ыкмалар колдонулат:
– Жылдырма/токтотуу терезеси: баштапкы мезгилде машыгуу, андан кийин кийинки мезгилде тест, андан кийин терезе жылышат.
– Кеңейтилген терезе: окутуу маалыматтары убакыттын өтүшү менен көбөйөт, андан кийин кийинки мезгилде текшерилет.
Бул ыкма ай сайын сатууну божомолдоо, акциялардын баалары же реалдуу убакыттагы сенсорлор үчүн тиешелүү.
Кайчылаш текшерүүдөгү баалоо метрикалары
Кайчылаш валидация - бул баалоо алкагы гана; колдонулган метрикалар көйгөйдүн түрүнө жараша болот:
– Регрессия: MSE, RMSE, MAE, R-квадрат.
– Классификация: тактык, тактык, эске түшүрүү, F1-баа, ROC-AUC.
– Тең салмаксыз классификация: ROC-AUC, PR-AUC (тактык менен кайра чакыртуу), тең салмактуу тактык.
Кайчылаш текшерүүнүн жыйынтыктары, адатта, метрикалык орточо маани жана стандарттык четтөө катары көрсөтүлөт (мисалы, тактык 0,89 ± 0,03). Стандарттык четтөө моделдин туруктуулугун түшүнүүгө жардам берет.
Моделди тандоо жана параметрлерди тууралоо үчүн кайчылаш валидация
Кайчылаш валидациянын негизги колдонулуштарынын бири - моделди тандоо жана гиперпараметрди жөндөө. Мисалы:
– k-NNде k тандоо.
– Чечим дарагынан максималдуу тереңдикти тандаңыз.
– Ридж/лассо регрессиясындагы регуляризация параметрлерин аныктагыла.
– SVMдеги C жана гамманы аныктоо.
Жакшы практикада, тюнинг процесси окутуу маалыматтары боюнча кайчылаш текшерүүнү колдонуу менен жүргүзүлөт, ал эми акыркы тест маалыматтары акыркы баалоо үчүн өзүнчө сакталат. Бул моделдин баалоо маалыматтарына ашыкча жабдылгандыгынан улам "ашыкча оптимизмдин" алдын алат.
Кыйла катаал ыкма "ички кайчылаш текшерүү" деп аталат, ал кайчылаш текшерүүнүн ичиндеги кайчылаш текшерүү: тышкы цикл баалоо үчүн, ички цикл жөндөө үчүн. Бул изилдөөлөрдө кеңири таралган, анткени ал объективдүү иштин баалоолорун камсыз кылат.
Кайчылаш валидациянын артыкчылыктары жана чектөөлөрү
Негизги артыкчылыктары:
1. Бир бөлүмгө караганда туруктуураак көрсөткүчтөрдү баалоону камсыз кылат.
2. Маалыматтарды натыйжалуу колдонуңуз, айрыкча маалыматтар топтому кичинекей болгондо.
3. Жалпы моделди тандоого жардам берет жана ашыкча туура келүү коркунучун азайтат.
Кетербатасан:
1. Окутуу көп жолу кайталанган сайын эсептөө чыгымдары көбөйөт.
2. Эгерде алдын ала иштетүү туура эмес жүргүзүлсө, маалыматтардын агып кетиши дагы эле болушу мүмкүн.
3. Топтоштурулган маалыматтар үчүн (мисалы, бир нече жазуулары бар пациенттин маалыматтары), бир адам поездде пайда болуп, бир убакта тест тапшырбашы үчүн топтук k-блок сыяктуу атайын ыкма керек.
Кайчылаш текшерүүнү колдонуудагы жакшы тажрыйбалар
Баалоо натыйжалуу болушу үчүн бир нече маанилүү принциптерди сактоо керек:
– Бүткүл маалыматтар үчүн бир жолу эмес, ар бир бүктөмдүн ичинде алдын ала иштетүүнү (нормалдаштыруу, импутациялоо, өзгөчөлүктөрдү тандоо) аткарыңыз. Болбосо, тесттик бүктөмдөн алынган маалымат поезд бүктөмүнө агып кетиши мүмкүн.
– Тең салмаксыз класстар менен классификациялоо үчүн стратификацияланган k-бүктөмүн колдонуңуз.
– Тартип бузулбашы үчүн убакыт катарларынын маалыматтары үчүн атайын схеманы колдонуңуз.
– Эгерде максатыңыз моделди жайылтуудан мурун анын акыркы иштешин баалоо болсо, акыркы тест топтомун четке коюңуз.
Penutup
Кайчылаш текшерүү - бул колдонмо статистикасында жана машиналык окутууда моделдин иштешин адилеттүү жана ишенимдүү баалоо үчүн негизги курал. Кайталап берилүүчү маалыматтарды бөлүшүүнү колдонуу менен, кайчылаш текшерүү окутуу-тесттин бөлүнгөн тандоосунан келип чыккан бир жактуулукту азайтууга жардам берет, ашыкча шайкештикти аныктайт жана моделди тандоону жана гиперпараметрди жөндөөнү колдойт. Эсептөө наркы жогору болгону менен, пайдасы көп учурда татыктуу, айрыкча маалыматтар топтому кичинекей болгондо же моделдин жыйынтыктарына негизделген чечимдер олуттуу кесепеттерге алып келгенде. Кайчылаш текшерүүнүн туура түрүн тандап жана эң мыкты тажрыйбаларды ишке ашыруу менен, биз реалдуу дүйнөдөгү маалыматтарда колдонууга даяр болгон ишенимдүү моделдерди кура алабыз.
