שיטת ג'קנייף בסטטיסטיקה
שיטת הסכין הראשית (jackknife) היא טכניקת דגימה מחדש חשובה בסטטיסטיקה, במיוחד למדידת אי הוודאות של אומדן. הסכין הראשית משמשת לעתים קרובות להערכת ההטיה והשונות של אומדן, וכן לבניית מדדי מדויקות כמו סטיית התקן. טכניקה זו פשוטה יחסית, אינה דורשת הנחות התפלגות מחמירות מדי, וניתן ליישם אותה במגוון רחב של בעיות, מסטטיסטיקה קלאסית ועד ניתוח נתונים מודרני.
רקע ורעיונות בסיסיים
האולר הוצג על ידי מוריס קנואי ומאוחר יותר הפך לפופולרי על ידי ג'ון טוקי. השם "אולר" (jackknife) קיבל השראה מאולר רב-תכליתי, שכן השיטה גמישה וניתנת לשימוש במגוון הקשרים. הרעיון הבסיסי הוא זה: אם יש לנו מדגם בגודל n, אנו יוצרים מספר "דגימות דמה" על ידי הסרת תצפית אחת בכל פעם, ולאחר מכן מחשבים מחדש את האומדן על כל מדגם. על ידי התבוננות כיצד האומדן משתנה כאשר תצפית אחת מוסרת, אנו מקבלים תובנה לגבי יציבות האומדן על פני שינויים בנתונים.
לדוגמה, נניח שיש לנו נתונים \(x_1, x_2, \dots, x_n\) ואנחנו רוצים לאמוד פרמטר \(\theta\) באמצעות האומדן \( \hat{\theta}=t(x_1, \dots,x_n)\). ב-jackknife, אנו יוצרים n תת-דגימות בגודל \(n-1\), כלומר את תת-הדגימה \(i\) שמוחקת את \(x_i\). לאחר מכן אנו מחשבים:
\[
\hat{\theta}_{(i)} = t(x_1,\dots,x_{i-1},x_{i+1},\dots,x_n)
\]
הערך \(\hat{\theta}_{(i)}\) נקרא אומדן של השארת חשבון אחד.
שלבי שיטת Jackknife
מבחינה פרוצדורלית, ניתן להסביר את השימוש ב"אולר" בשלבים הבאים:
1. חשב את האומדן על כל הנתונים
חשב את \(\hat{\theta}\) על פני כל הדגימה.
2. צור n תת-דגימות ללא תוספת
עבור כל \(i = 1,2,\dots,n\), הסר את התצפית \(x_i\) וחשב את האומד \(\hat{\theta}_{(i)}\).
3. חשב את הממוצע של אומדן הסכין המשולבת
ממוצע של הפסקה אחת:
\[
\bar{\theta}_{(\cdot)} = \frac{1}{n}\sum_{i=1}^n \hat{\theta}_{(i)}
\]
4. הערכת שונות (או סטיית תקן)
שונות הסכין המשולבת מחושבת בדרך כלל עם:
\[
\widehat{\mathrm{Var}}_{J}(\hat{\theta}) = \frac{n-1}{n}\sum_{i=1}^n \left(\hat{\theta}_{(i)} – \bar{\theta}_{(\cdot)}\right)^2
\]
שגיאת התקן היא השורש הריבועי של השונות.
5. הערכת הטיה ותיקון הטיה (אופציונלי)
ג'קנייף יכול גם להעריך הטיה באמצעות:
\[
\widehat{\mathrm{Bias}}_{J}(\hat{\theta}) = (n-1)\left(\bar{\theta}_{(\cdot)} – \hat{\theta}\right)
\]
תיקון הטיה יכול להתבצע על ידי:
\[
\hat{\theta}_{J} = \hat{\theta} – \widehat{\mathrm{Bias}}_{J}(\hat{\theta})
\]
פרשנות: אם הממוצע שבו נמנע ערך אחד שונה מהאומדן המלא באופן שיטתי, ישנה אינדיקציה להטיה שניתן לתקן.
דוגמה אינטואיטיבית: ממוצע מדגם
כדי להבין את אולר הגז באופן אינטואיטיבי, יש לקחת בחשבון את אומדן הממוצע של המדגם:
\[
\hat{\mu} = \frac{1}{n}\sum_{i=1}^n x_i
\]
אם נסיר תצפית אחת \(x_i\), הממוצע הופך ל:
\[
\hat{\mu}_{(i)} = \frac{1}{n-1}\sum_{j\ne i} x_j
\]
במקרה של ממוצעים, הסכין המשולשת אינה מספקת "הפתעה" גדולה מכיוון שהממוצע יציב וההטיה קטנה (בהקשרים רבים). עם זאת, עבור אומדנים מורכבים יותר - כגון החציון, מקדם רגרסיה מסוים, מתאם או סטטיסטיקה לא ליניארית - השינוי הנובע מהסרת נקודת נתונים בודדת יכול לחשוף את רגישות האומדן ולייצר אומדן שימושי של סטיית התקן שלו.
פסאודו-ערך: מושג חשוב ב"ג'קנייף"
בכמה דיונים, jackknife מציג ערך מדומה לכל תצפית:
\[
\theta_i^{ } = n\hat{\theta} – (n-1)\hat{\theta}_{(i)}
\]
אז ניתן לכתוב את אומדן הסכין המשולבת כממוצע של ערכים מדומה:
\[
\hat{\theta}_{J} = \frac{1}{n}\sum_{i=1}^n \theta_i^{ }
\]
גישת הפסאודו-ערכים מסייעת להסביר כיצד כל תצפית "תורמת" לאומדן הסופי ומקלה על ניתוח הטיה.
הקשר בין jackknife ל-bootstrap
Jackknife מושווה לעתים קרובות ל-bootstrap, מכיוון ששתיהן שיטות דגימה מחדש. עם זאת, ישנם הבדלים חשובים:
– Jackknife משתמש בתת-דגימה על ידי הסרת נתונים אחד (השארת נתונים אחד בחוץ). מספר החזרות הוא דטרמיניסטי: בדיוק n.
– Bootstrapping יוצר דגימה מחדש עם החלפה, בדרך כלל פעמים רבות (למשל 1000 או 10.000 פעמים), ובכך מספק אומדן של ההתפלגות האמפירית של האומדן.
באופן כללי, שיטת האתחול גמישה יותר ולעתים קרובות מדויקת יותר עבור בעיות מורכבות, אך שיטת הסכין המשולבת (jackknife) פשוטה יותר וזולה יותר מבחינה חישובית. במערכי נתונים גדולים, שיטת הסכין המשולבת יכולה להיות אלטרנטיבה מהירה להשגת שגיאות תקן גסות, במיוחד כאשר חישוב האומדן יקר אך עדיין בר ביצוע פי n.
יתרונות שיטת הסכין
חלק מהיתרונות של אולר כבד כוללים:
1. פשוט וקל ליישום
הרעיון של השארת נקודה אחת בחוץ הוא אינטואיטיבי, ונוסחת השונות פשוטה.
2. מספר הנחות התפלגות
ג'קנייף לא תמיד דורש את הנחת הנורמליות או טופס הפצה מסוים.
3. יעיל עבור חישובים מסוימים
מכיוון שזה דורש רק n פעמים של חישובי אומדן, jackknife לרוב קל יותר מאשר bootstrapping הדורש אלפי חזרות.
4. שימושי להערכת הטיה
במיוחד באומדנים לא ליניאריים שבדרך כלל אינם קלים לחישוב אנליטי.
מגבלות ודברים שכדאי לשים לב אליהם
למרות עוצמתו, לאולר יש מגבלות:
1. פחות מדויק עבור אומדנים לא חלקים במיוחד
לדוגמה, החציון או הכמוונים בתנאים מסוימים, או סטטיסטיקות התלויות בערכים קיצוניים, האולר מספק לפעמים אומדנים פחות מדויקים של השונות.
2. לא תמיד מתאים לנתונים עם תלויות
בסדרות זמן או נתונים מרחביים, תצפיות אינן בלתי תלויות. הסרת נקודה בודדת יכולה לשבור את מבנה התלות. במקרים כאלה, משתמשים בווריאציות כמו הסרת בלוק נתונים אחד בכל פעם.
3. רגיש לתצפיות בעלות השפעה גבוהה
אם ישנם חריגים או נתונים "ממונפים", אומדן ההימנעות מהנתונים "אחד" יכול להשתנות באופן דרסטי. זה לא תמיד חולשה - זה יכול להיות איתות חשוב - אבל השונות המתקבלת יכולה להיות גדולה ודורשת פרשנות זהירה.
4. מדרגיות ב-n גדול מאוד
למרות ש-jackknife זול יותר מ-bootstrapping, הוא עדיין דורש הערכות של אומדן באמצעות n. אם n הוא במיליונים והאומדנים יקרים, זה יכול להיות בעייתי.
וריאציות: אולר jackknife עם מחיקה-d ואולר jackknife עם חסימה
מלבד השמטת סימן אחד, ישנם וריאציות:
– מחיקת jackknife של d: מוחקת d תצפיות לכל שכפול (במקום רק 1). זה יכול לשפר את הדיוק במצבים מסוימים, במיוחד עבור אומדנים שאינם חלקים.
– סכין בלוק: מסיר בלוק המכיל מספר תצפיות סמוכות, מתאים לנתונים בעלי אוטוקורלציה (למשל נתונים יומיים, שבועיים או מרחביים).
הבחירה בגודל d או בגודל הבלוק תלויה במבנה הנתונים ובמטרת ההסקה.
יישום אולר בפועל
אולר נשי (Jackknife) משמש בתחומים שונים:
– ביוסטטיסטיקה ואפידמיולוגיה: הערכת שגיאות תקן עבור מדדי סיכון או פרמטרים של מודל כאשר נוסחאות אנליטיות קשות.
– אקונומטריקה: הערכת יציבות פרמטרים, במיוחד במדגמים מוגבלים.
– מדעי המחשב ולמידת מכונה: מושג ההשמטה של נקודה אחת קשור קשר הדוק לאימות צולב, אם כי המטרות שונות (אימות חיזוי לעומת הערכת דיוק פרמטרים).
– אקולוגיה וסקרים: הערכת מגוון או מדדים מסוימים וחוסר הוודאות של סטטיסטיקות מורכבות.
סְגִירָה
שיטת הסכין המשולבת (jackknife) היא טכניקת דגימה מחדש קלאסית שנותרה רלוונטית גם כיום. על ידי שימוש ברעיון פשוט - השמטת תצפית אחת וחישוב מחדש של האומדן - הסכין המשולבת יכולה לספק אומדנים של שונות, סטיית תקן והטיה ללא חישובים מתמטיים מורכבים. עם זאת, השימוש בה דורש התחשבות באופי האומדן, גודל המדגם ומבנה התלות של הנתונים. בפועל, הסכין המשולבת היא לעתים קרובות אפשרות מהירה ושקופה, או כהשלמה לשימוש בשיטות דגימה מחדש חזקות יותר כמו bootstrapping.
אם תרצה, אוכל גם להוסיף דוגמה קטנה לחישוב מספרי (למשל, עבור קורלציה או רגרסיה) או לכלול יישום של jackknife ב-R/Python כדי להבהיר את היישום.
