נוסחת רגרסיה לוגיסטית

נוסחת רגרסיה לוגיסטית

רגרסיה לוגיסטית היא אחת השיטות הפופולריות ביותר בסטטיסטיקה ובמדעי הנתונים למידול הקשר בין מספר משתנים בלתי תלויים (מנבאים) לבין משתנה תלוי קטגורי, במיוחד בינארי (למשל, כן/לא, הצלחה/כישלון, חולה/בריא). בניגוד לרגרסיה לינארית, המייצרת ערכים רציפים, רגרסיה לוגיסטית נועדה להעריך את ההסתברות לאירוע, כך שהתוצאה הסופית היא בטווח של 0 עד 1. במאמר זה נדון בנוסחת הרגרסיה הלוגיסטית, במשמעות של כל רכיב וכיצד לפרש אותו.

מדוע נדרשת רגרסיה לוגיסטית?

אם נשתמש ברגרסיה לינארית כדי לחזות הסתברויות, המודל יכול לייצר ערכים מתחת ל-0 או מעל ל-1, דבר שאינו סביר באופן ברור עבור הסתברות. רגרסיה לוגיסטית מטפלת בבעיה זו באמצעות פונקציה לא לינארית הממפה את התוצאה המחושבת (שיכולה להיות כל ערך) לערך הסתברות בין 0 ל-1. הפונקציה הנפוצה ביותר היא הפונקציה הלוגיסטית או הפונקציה הסיגמואידית.

לדוגמה, נניח שאנחנו רוצים לחזות האם לקוח ייעדר על סמך גילו, משך המנוי ותדירות השימוש שלו. לתוצאה הצפויה יש רק שתי אפשרויות: נטישה (1) או אי נטישה (0). רגרסיה לוגיסטית מתאימה היטב לסוג זה של מצב.

נוסחה בסיסית לרגרסיה לוגיסטית

מהות הרגרסיה הלוגיסטית היא לדמות את ההסתברות \(p \) ש \(Y = 1 \) (האירוע מתרחש), בהינתן ערך משתנה החיזוי \(X \).

מודלים של רגרסיה לוגיסטית נכתבים בדרך כלל בשתי צורות עיקריות:

1) צורת הסתברות (סיגמואיד)

\[
p = P(Y=1\mid X) = \frac{1}{1 + e^{-z}}
\]

עם

\[
z = β₀ + β₀ X₁ + β₂ X₂ + β₀ + β₀ X₀
\]

מֵידָע:
– \(p \) היא ההסתברות לאירוע (לדוגמה: churn = 1).
– \(e \) הוא מספר אוילר (בערך 2,71828).
– \(z \) הוא שילוב ליניארי של מנבאים.
– \( \β_0 \) הוא נקודת החיתוך (קבועה).
– \(β1, β2, ..., βk \) הם מקדמי הרגרסיה.
– \(X_1, X_2, \ldots, X_k \) הם משתנים בלתי תלויים.

פונקציית הסיגמואיד מבטיחה שבלי קשר לערך של \(z \), הערך של \(p \) נשאר בין 0 ל-1.

2) טופס לוגיט (סיכויים לוגריתמיים)

צורה חשובה נוספת היא צורת הלוגיט, שהיא הלוגריתם של הסיכויים:

\[
‏{logit}(p) = \ln\left(\frac{p}{1-p}\right) = β₀ + β₁ X₁ + β₂ X₂ + β₀ + β₇ X₁
\]

מֵידָע:
– \( \frac{p}{1-p} \) נקרא הסיכויים (סיכוי יחסי).
– \( \ln \) הוא הלוגריתם הטבעי.

צורת הלוגיט מסבירה שרגרסיה לוגיסטית למעשה מדמה את הסיכויים הלוגריים כפונקציה לינארית של המנבאים. זה הופך את פירוש המקדמים לברור יותר, במיוחד בהקשר של יחסי סיכויים.

הבנת הסיכויים ויחסי הסיכויים

כדי להבין באמת את נוסחת הרגרסיה הלוגיסטית, עלינו להבחין בין הסתברות לסיכויים.

– הסתברות \(p \): הסיכוי להתרחשות אירוע (0 עד 1).
סיכויים: השוואה בין ההסתברות שמשהו יקרה לבין ההסתברות שלא יקרה:

\[
הסיכויים = \frac{p}{1-p}
\]

דוגמה: אם \( p = 0{,}8 \), אז:

\[
הסיכויים = \frac{0,8}{0,2} = 4
\]

משמעות הדבר היא שהסיכוי שהאירוע יקרה פי 4 מאשר שלא.

ברגרסיה לוגיסטית, המקדם β מתפרש לעתים קרובות באמצעות יחס הסיכויים:

\[
OR = e^{\beta}
\]

– אם \( \β > 0 \), אז \( e^{\β} > 1 \): המנבא מגדיל את הסיכויים לאירוע.
– אם (β < 0), אז (e^{β} < 1): המנבא מקטין את הסיכויים לאירוע. - אם (β = 0), אז (e^{β} = 1): אין השפעה על הסיכויים. לדוגמה, אם (β1 = 0,7), אז: [e^{0,7} = 2,01] משמעות הדבר היא שכל עלייה של יחידה אחת ב- (X_1) תכפיל את הסיכויים לאירוע פי 2.01 בקירוב (בהנחה שמשתנים אחרים נשארים קבועים). דוגמה למודל רגרסיה לוגיסטית פשוט נניח שיש לנו רק משתנה מנבא אחד (X), לדוגמה מספר שעות הלימוד בשבוע, כדי לחזות מעבר מבחן (עובר = 1, נכשל = 0). המודל:

\[ \text{logit}(p) = \beta_0 + \beta_1 X \] אם התוצאה המשוערת היא: - \( \beta_0 = -4 \) - \( \beta_1 = 0{,}8 \) אז: \[ z = -4 + 0{,}8X \] \[ p = \frac{1}{1 + e^{-(-4 + 0{,}8X)}} = \frac{1}{1 + e^{4 - 0{,}8X}} \] אם \( X = 6 \) שעות לימוד: \[ z = -4 + 0{,}8(6) = 0{,}8 \] \[ p = \frac{1}{1 + e^{-0{,}8}} \approx 0{,}69 \] פירוש: עם 6 שעות לימוד בשבוע, ההסתברות עברה עם ציון של כ-69%. אומדן מקדם: מדוע לא שיטת הריבועים הפחותים? ברגרסיה לינארית, מקדמים מחושבים לרוב באמצעות שיטת הריבועים הפחותים. עם זאת, ברגרסיה לוגיסטית, הקשר בין גורמים מנבאים להסתברויות אינו ליניארי, ולכן גישת הריבועים הפחותים אינה אידיאלית. רגרסיה לוגיסטית משתמשת בדרך כלל בהערכת הסבירות המקסימלית (MLE) כדי למצוא את ערך המקדם \( \β \) שממקסם את הסבירות של הנתונים הנצפים. לסיכום, הסבירות לתצפיות בינאריות (y_i in 0,1) ותחזיות (p_i) היא: [ L(β) = \prod_{i=1}^{n} p_i^{y_i}(1-p_i)^{(1-y_i)} ] לאחר מכן, לעתים קרובות מומרת לסבירות לוגריתמית כדי להקל על החישוב: [ ell(β) = \sum_{i=1}^{n} [y_i \ln(p_i) + (1-y_i)\ln(1-p_i)] ] הערך של (β) נבחר כדי למקסם את (ell(β)). שיטות נומריות כגון ניוטון-רפסון או ירידת גרדיאנט משמשות לעתים קרובות על ידי תוכנות סטטיסטיות. יתרונות ומגבלות של רגרסיה לוגיסטית יתרונות 1. התוצאות הן בצורת הסתברויות ולכן קל לתרגם אותן להחלטות. 2. פירוש המקדמים ברור דרך יחס הסיכויים. 3. מתאים לבעיות סיווג בינארי וניתן להרחיב אותו למולטינומי/סדור. מגבלות 1. מניח קשר ליניארי בין גורמים מנבאים לסיכויים לוגריסטיים, לא ישירות להסתברויות. 2. יכול להיות בעייתי אם יש מולטי-קולינריות או נתונים לא מאוזנים מאוד. 3. עבור דפוסי קשר מורכבים מאוד, שיטות לא ליניאריות אחרות (למשל, יער אקראי או רשת נוירונים) עשויות להיות עדיפות. סיכום נוסחת הרגרסיה הלוגיסטית משלבת למעשה שילוב ליניארי של משתני חיזוי עם פונקציית סיגמואיד כדי לייצר הסתברויות. הצורה הנפוצה ביותר היא: \[ p = \frac{1}{1 + e^{-(β_0 + β_1 X_1 + β_k X_k)}} \] או בצורת לוגיט: \[ \ln\left(\frac{p}{1-p}\right) = β_0 + β_1 X_1 + β_k X_k \] על ידי הבנת שתי צורות אלו של הנוסחה, נוכל לבנות מודלים חיזויים לבעיות סיווג בינאריות שונות תוך פירוש השפעת המשתנים באמצעות יחס הסיכויים \( e^{\beta} \). רגרסיה לוגיסטית נותרה בסיס חשוב בניתוח נתונים משום שהיא פשוטה, עוצמתית ופרשנית - ולעתים קרובות היא הצעד הראשון לפני ניסיון מודלים מורכבים יותר. אם תרצה, אוכל להוסיף דוגמה לחישוב עם נתונים קטנים (טבלה), או דוגמה ליישום של רגרסיה לוגיסטית בפייתון/R יחד עם פירוש הפלט.