קראָס וואַלידאַציע מעטאָד אין סטאַטיסטיק
אין סטאַטיסטיק און דאַטן וויסנשאַפֿט, איינע פון די גרעסטע שוועריקייטן איז צו זיכער מאַכן אַז אַ מאָדעל ניט נאָר אַרבעט גוט אויף די דאַטן אויף וועלכע עס איז געווען טרענירט, נאָר אויך אַרבעט גוט אויף נייַע, פריער נישט געזען דאַטן. דעם פּראָבלעם ווערט אָפט גערופן גענעראַליזאַציע. דאָס איז וווּ קראָס-וואַלידאַציע קומט אין באַטראַכט: אַ מאָדעל עוואַלואַציע מעטאָד דיזיינד צו מעסטן מאָדעל פאָרשטעלונג מער גערעכט און קאָנסיסטענט ווי אַן איינציקע עוואַלואַציע ניצן אַן איינציקע דאַטן סעט.
פארוואס איז קראָס וואַלידאַציע נויטיק?
ווען מיר בויען א פאראויסזאגנדיקן מאדעל—למשל, א רעגרעסיע מאדעל צו פאראויסזאגן הויז פרייזן אדער א קלאסיפיקאציע מאדעל צו דעטעקטירן ספעם—טיילן מיר געווענליך די דאטן אין צוויי טיילן: א טרענירונג סעט און א טעסט סעט. דער מאדעל ווערט טרענירט אויף די טרענירונג דאטן און דערנאך עוואלוירט אויף די טעסט דאטן. די צוגאנג איז פשוט, אבער עס האט א חסרון: די עוואלואציע רעזולטאטן קענען שטארק אפהענגען פון ווי אזוי די דאטן ווערן צעטיילט. אויב די טעסט דאטן איז "גרינג", דערשיינט די פערפארמענס הויך; אויב די טעסט דאטן איז "שווער", דערשיינט די פערפארמענס נידעריג.
קראָס-וואַלידאַציע רעדוצירט די אָפּהענגיקייט אויף אַן איינציקן דאַטן-זאַמלונג דורך דורכפירן קייפל טריינינג און טעסטינג פּראָצעסן אויף פאַרשידענע דאַטן-זאַמלונגען און דערנאָך דורכשניטלעך די רעזולטאַטן. דאָס רעזולטאַטן אין פאָרשטעלונג עסטאַמאַץ וואָס זענען מער רעפּרעזענטאַטיוו פון פאַקטישע באדינגונגען.
גרונטלעכע קאנצעפטן פון קראָס וואַלידאַציע
די עסענץ פון קראָס-וואַלידאַציע איז צו צעטיילן די דאַטן אין עטלעכע טיילן (פאָולדס). ביי יעדער איטעראַציע ווערן עטלעכע פאָולדס גענוצט צו טרענירן דעם מאָדעל, און איין פאָולד ווערט גענוצט צו פּרובירן דעם מאָדעל. דער פּראָצעס ווערט איבערגעחזרט ביז יעדער פאָולד איז גענוצט געוואָרן ווי טעסט דאַטן. די עוואַלואַציע סקאָרז פון יעדער איטעראַציע ווערן דאַן קאָמבינירט (געוויינטלעך מיטן דורכשניט און מאל אויך מיטן סטאַנדאַרט דעוויאַציע) צו געבן אַן איבערבליק פון די מאָדעל'ס פאָרשטעלונג.
למשל, אין k-פאָולד קראָס וואַלידאַציע מיט k=5, ווערט די דאַטן צעטיילט אין 5 פאָולדז. די ערשטע איטעראַציע: פאָולד 1 ווי טעסט, פאָולדז 2–5 ווי טרענירונג. די צווייטע איטעראַציע: פאָולד 2 ווי טעסט, און אַזוי ווייטער ביז פאָולד 5.
געוויינטלעכע טיפּן פון קראָס וואַלידאַציע
1. האָלדאַויט וואַלידאַציע (טריין-טעסט שפּאַלטונג)
כאָטש טעכניש נישט "איבערגעחזרטע" קראָס-וואַלידאַציע, ווערט די האָולדאַוט מעטאָדע אָפט באַטראַכט ווי אַ גרונטיקער וואַלידאַציע שריט. די דאַטן ווערן צעטיילט איין מאָל, למשל, 80% טרענירונג און 20% טעסטינג. דער מייַלע איז אַז עס איז שנעל און פּשוט, אָבער דער חסרון איז די הויכע וואַריאַנס אין די רעזולטאַטן ווייַל עס פאַרלאָזט זיך אויף אַן איינציקע שפּאַלטונג.
די מעטאָדע ווערט געוויינטלעך גענוצט ווען די דאַטן זענען זייער גרויס, אַזוי אַז אפילו איין אָפּטייל איז רעפּרעזענטאַטיוו גענוג.
2. ק-פאָלד קראָס וואַלידאַציע
דאָס איז די מערסט פּאָפּולערע פֿאָרעם פֿון קראָס-וואַלידאַציע. דער k פּאַראַמעטער ווערט אָפֿט אויסגעקליבן ווי 5 אָדער 10 ווײַל מען באַטראַכט עס צו באַלאַנסירן קאָמפּיוטיישאַנאַל קאָסטן און שאַצונג קוואַליטעט.
וידעפדיק:
– ניצן דאַטן מער עפֿעקטיוו (יעדע דאַטן ווערט אַ טייל פֿון טרענירן און פּרובירן).
– פאָרשטעלונג עסטאַמאַץ זענען מער סטאַביל ווי האַלטאָוט.
פעלן:
– נעמט לענגער ווייל עס טרענירט דעם מאָדעל k מאָל.
– אויב די דאַטן איז זייער גרויס אָדער די מאָדעל איז זייער קאָמפּליצירט, קענען די קאַמפּיוטיישאַנאַל קאָסטן זיין הויך.
3. סטראַטיפיעד K-פאָולד קראָס וואַלידאַציע
פֿאַר קלאַסיפֿיקאַציע פּראָבלעמען, ספּעציעל אויב די קלאַסן זענען נישט באַלאַנסירט (למשל, 90% נעגאַטיוו, 10% פּאָזיטיוו), קען רעגולער k-פאָולד פּראָדוצירן פאָולדז מיט פֿאַרשיידענע קלאַס פֿאַרשפּרייטונגען. סטראַטיפֿיצירטע k-פאָולד זיכערט אַז די פּראָפּאָרציע פֿון קלאַסן אין יעדער פאָולד איז אַפּראָקסימאַטיוולי די זעלבע ווי די פּראָפּאָרציע פֿון קלאַסן אין די אָריגינעלע דאַטן.
דאָס איז ספּעציעל וויכטיק בײַם עוואַלויִרן קראַנקהייט דעטעקשאַן מאָדעלן, שווינדל, אָדער אַנדערע פֿאַלן וווּ די מינאָריטעט קלאַס איז קליין.
4. לאָז-איינס-אויס קראָס וואַלידאַציע (LOOCV)
אין LOOCV, איז די צאָל פאָולדז גלייך צו דער סומע דאַטן (k = n). דאָס מיינט אַז אין יעדער איטעראַציע ווערט נאָר איין אָבסערוואַציע די טעסט דאַטן, בשעת די רעשט ווערט די טראַינינג דאַטן.
וידעפדיק:
– כּמעט אַלע דאַטן ווערט גענוצט פֿאַר טריינינג ביי יעדער איטעראַציע, אַזוי די שאַצונג בייאַס קען זיין קליין.
פעלן:
– זייער קאמפיוטעריש טייער פאר גרויסע דאטן-זאמלונגען.
– שאַצונג וואַריאַנס קען זיין הויך אין עטלעכע טייפּס פון פּראָבלעמען ווייַל די טעסט סעט איז בלויז איין פונט פּער איטעראַציע.
LOOCV ווערט אָפט גענוצט ווען עס איז זייער ווייניק דאַטן, למשל פאָרשונג מיט אַ קליינער מוסטער גרייס.
5. ריפּיטיד K-פאָולד קראָס וואַלידאַציע
די מעטאָדע איבערחזרט k-פאָולד קייפל מאָל מיט פֿאַרשידענע (ראַנדאָם) פאָולד אַסיינמאַנץ. די ציל איז צו רעדוצירן די אָפּהענגיקייט אויף אַ איין פאָולד אַסיינמאַנט און פּראָדוצירן מער סטאַבילע שאַצונגען.
למשל, "10-פאכיג איבערגעחזרט 3 מאל" מיינט לויפן 10-פאכיג 3 מאל (א סך הכל פון 30 טרענירונגען און עוואַלואַציעס).
6. צייט סעריע קראָס וואַלידאַציע
פֿאַר צייט סעריע דאַטן, איז קאַנווענשאַנעל קראָס-וואַלידאַציע נישט פּאַסיק ווייַל עס קען "אַריינלאָזן די צוקונפֿט" אין דעם טריינינג פּראָצעס. אין צייט סעריעס, מוז די טעמפּאָראַל סדר זיין פּרעזערווירט. דעריבער, צוגאַנגען ווי:
– ראָלינג/גליטשינג פֿענצטער: טרענירן אין דער ערשטער פּעריאָדע און דערנאָך פּרובירן אין דער ווייַטער פּעריאָדע, און דערנאָך פֿאַרשיבט זיך דאָס פֿענצטער.
– אויסברייטערנדיק פֿענצטער: טראַינינג דאַטן וואַקסן מיט דער צייט, און דערנאָך ווערן זיי טעסטירט אין דער ווייַטערער פּעריאָדע.
די מעטאָדע איז באַטייַטיק פֿאַר כוידעשלעך פארקויפונג פאָרויסזאָגן, אַקציע פּרייסיז, אָדער רעאַל-צייט סענסאָרס.
עוואַלואַציע מעטריקס אין קראָס וואַלידאַציע
קראָס וואַלידאַציע איז בלויז אַן עוואַלואַציע ראַם; די מעטריקס געניצט הענגען אָפּ פון די טיפּ פּראָבלעם:
– רעגרעסיע: MSE, RMSE, MAE, R-קוואַדראַט.
– קלאַסיפֿיקאַציע: אַקיעראַסי, פּרעציזיע, דערקענונג, F1-סקאָר, ROC-AUC.
– אומבאַלאַנסירטע קלאַסיפֿיקאַציע: ROC-AUC, PR-AUC (פּינקטלעכקייט-צוריקרוף), באַלאַנסירטע אַקיעראַסי.
קראָס-וואַלידאַציע רעזולטאַטן ווערן טיפּיש געמאָלדן ווי אַ מעטרישער דורכשניט און סטאַנדאַרט דעוויאַציע (למשל, אַקיעראַסי 0,89 ± 0,03). די סטאַנדאַרט דעוויאַציע העלפֿט פֿאַרשטיין די סטאַביליטעט פֿון דעם מאָדעל.
קראָס וואַלידאַציע פֿאַר מאָדעל סעלעקציע און פּאַראַמעטער טונינג
איינע פון די הויפּט נוצן פון קראָס וואַלידאַציע איז מאָדעל סעלעקציע און היפּערפּאַראַמעטער טונינג. למשל:
– אויסקלויבן k אין k-NN.
– אויסקלייבן די מאַקסימום טיפקייט אין דעם באַשלוס בוים.
– באַשטימען די רעגולאַריזאַציע פּאַראַמעטערס אין רידזש/לאַסאָ רעגרעסיע.
– באַשטימען C און גאַמאַ אין SVM.
אין גוטער פּראַקטיק, ווערט דער טונינג פּראָצעס דורכגעפירט אויף די טראַינינג דאַטן ניצנדיק קראָס-וואַלידאַציע, בשעת די לעצטע טעסט דאַטן ווערן געהאַלטן באַזונדער פֿאַר לעצטער עוואַלואַציע. דאָס פאַרהיט "איבער-אָפּטימיזם" צוליב דעם וואָס דער מאָדעל איז איבערגעפּאַסט צו די עוואַלואַציע דאַטן.
א מער שטרענגער צוגאַנג ווערט גערופן איינגענעסט קראָס-וואַלידאַציע, וואָס איז קראָס-וואַלידאַציע אינערהאלב קראָס-וואַלידאַציע: די אויסערלעכע שלייף איז פֿאַר עוואַלואַציע, די אינערלעכע שלייף איז פֿאַר טונינג. דאָס איז פּאָפּולער אין פאָרשונג ווייל עס גיט מער אומפּאַרטייישע פאָרשטעלונג שאַצונגען.
מעלות און לימיטאַציעס פון קראָס וואַלידאַציע
הויפּט מעלות:
1. גיט מער סטאַבילע פאָרשטעלונג עסטאַמאַץ ווי איין דיוויזיע.
2. ניצן דאַטן עפֿעקטיוו, ספּעציעל ווען די דאַטאַסעט איז קליין.
3. העלפט אויסקלויבן א מער אלגעמיינעם מאדעל און פארקלענערט דעם ריזיקע פון איבערפאסן.
קעטערבאַטאַסאַן:
1. קאמפיוטער קאסטן וואקסן ווען טרענירונג ווערט איבערגעחזרט אסאך מאל.
2. דאַטן ליקס קענען נאָך פּאַסירן אויב פאַר-פּראַסעסינג ווערט נישט ריכטיק געטאָן.
3. פֿאַר גרופּירטע דאַטן (למשל, פּאַציענט דאַטן וואָס האָבן עטלעכע רעקאָרדס), איז אַ ספּעציעלע מעטאָדע נייטיק, ווי למשל גרופע k-פאָולד, אַזוי אַז איין יחיד זאָל נישט דערשייַנען אין דער באַן און טעסט אין דער זעלבער צייט.
גוטע פּראַקטיקעס אין ניצן קראָס וואַלידאַציע
כּדי אַן עוואַלואַציע זאָל זײַן גילטיק, מוז מען נאָכפֿאָלגן עטלעכע וויכטיקע פּרינציפּן:
– דורכפירן פאָר-פּראָצעסירונג (נאָרמאַליזאַציע, אימפּוטאַציע, פֿעיִטשער סעלעקציע) אין יעדן פֿאַלט, נישט איין מאָל פֿאַר די גאַנצע דאַטן. אַנדערש קען אינפֿאָרמאַציע פֿון דעם טעסט פֿאַלט אַרײַנלויפֿן אין דעם באַן פֿאַלט.
– ניצן סטראַטיפיצירטע k-פאָולד פֿאַר קלאַסיפֿיקאַציע מיט נישט-באַלאַנסירטע קלאַסן.
– ניצט אַ ספּעציעלע סכעמע פֿאַר צייט סעריע דאַטן כּדי דער סדר זאָל נישט ווערן פֿאַרלעצט.
– לייגט באַזונדער דעם לעצטן טעסט סעט אויב אייער ציל איז צו אָפּשאַצן די לעצטיקע פאָרשטעלונג פון דעם מאָדעל איידער דיפּלוימאַנט.
קלאָוזינג
קראָס-וואַלידאַציע איז אַ פונדאַמענטאַל געצייַג אין אַפּליייד סטאַטיסטיק און מאַשין לערנען פֿאַר עוואַלואַטינג מאָדעל פאָרשטעלונג מער גערעכט און ראָובאַסט. דורך נוצן ריפּיטיד דאַטן ייַנטיילונג, קראָס-וואַלידאַציע העלפּס רעדוצירן בייאַס געפֿירט דורך טריין-טעסט שפּאַלט סעלעקציע, דעטעקטירט אָוווערפיטינג, און שטיצט מאָדעל סעלעקציע און היפּערפּאַראַמעטער טונינג. כאָטש די קאַמפּיוטיישאַנאַל קאָסטן איז העכער, די בענעפיץ זענען אָפט ווערט עס, ספּעציעל ווען די דאַטאַסעט איז קליין אָדער ווען דיסיזשאַנז באזירט אויף די מאָדעל רעזולטאַטן האָבן באַטייטיק קאַנסאַקווענסאַז. דורך טשוזינג די רעכט טיפּ פון קראָס-וואַלידאַציע און ימפּלאַמענטינג בעסטער פּראַקטיסיז, מיר קענען בויען מער פאַרלאָזלעך מאָדעלס וואָס זענען גרייט צו ווערן געניצט אויף פאַקטיש-וועלט דאַטן.
