דוגמה לשאלות דיון בשיטת הריבועים הפחותים
שיטת הריבועים הפחותים (LEM) היא שיטה סטטיסטית המשמשת למציאת קו ההתאמה הטוב ביותר שחוזה נתונים בצורה היעילה ביותר. שיטה זו משמשת לעתים קרובות בניתוח רגרסיה לינארית כדי לזהות את הקשר בין משתנים בלתי תלויים ותלויים. מאמר זה יכסה את המושגים הבסיסיים של שיטת הריבועים הפחותים, יחד עם דוגמאות והסברים שלב אחר שלב להבנה מעמיקה יותר של אופן פעולתה של שיטה זו.
מושגים בסיסיים של שיטת הריבועים הפחותים
מטרת שיטת הריבועים הפחותים היא למזער את סכום הריבועים של ההפרשים בין הערכים הנצפים לבין הערכים שחוזים על ידי מודל הרגרסיה. ניתן לכתוב את משוואת קו הרגרסיה הליניארית הפשוט כך:
\[ y = a + bx \]
אֵיפֹה:
– \(y \) הוא המשתנה התלוי,
– \(x \) הוא המשתנה הבלתי תלוי,
– \(a \) הוא נקודת החיתוך (ערך \(y \) כאשר \(x = 0 \)),
– \(b \) הוא שיפוע הקו (שיפוע, או מקדם רגרסיה).
שיטת הריבועים הפחותים מעריכה את הפרמטרים \(a \) ו- \(b \) אשר ממזערים את הפונקציה הבאה:
[\text{SSE} = \sum_{i=1}^{n} (y_i – \hat{y_i})^2 \]
כאשר SSE הוא סכום השגיאות בריבוע, y_i הוא הערך בפועל, ו- y_i = a + bx_i הוא הערך החזוי.
שלבי שיטת הריבועים הפחותים
כדי להבהיר את המושג, נפתור בעיה לדוגמה הכוללת שימוש בשיטת הריבועים הפחותים.
דוגמה לבעיות
בהינתן הנתונים הבאים:
| x (שעות לימוד) | y (ציון בחינה) |
|——————–|——————–|
2 | 81 |
4 | 93 |
6 | 91 |
8 | 97 |
| 10 | 103 |
קבע את קו הרגרסיה הליניארית המתאים ביותר לנתונים.
דִיוּן
1. חישוב הממוצע של \( \bar{x} \) ו- \bar{y} \)
\[
\bar{x} = \frac{\sum x_i}{n} = \frac{2 + 4 + 6 + 8 + 10}{5} = 6
\]
\[
Σ(y) = Σ(sum y_i)/Σ(n) = Σ(81 + 93 + 91 + 97 + 103/5) = 93
\]
2. חישוב פרמטר \(b \) (שיפוע)
הפרמטר \(b \) מחושב על ידי:
\[
b = \frac{\sum(x_i – \bar{x})(y_i – \bar{y})}{\sum(x_i – \bar{x})^2}
\]
חישוב כל רכיב:
\[
סכום (x_i – \bar{x})(y_i – \bar{y}) = (2-6)(81-93) + (4-6)(93-93) + (6-6)(91-93) + (8-6)(97-93) + (10-6)(103-93)
\]
\[
= (-4)(-12) + (-2)(0) + (0)(-2) + (2)(4) + (4)(10)
\]
\[
= 48 + 0 + 0 + 8 + 40 = 96
\]
\[
\sum(x_i – \bar{x})^2 = (2-6)^2 + (4-6)^2 + (6-6)^2 + (8-6)^2 + (10-6)^2
\]
\[
= (-4)^2 + (-2)^2 + 0^2 + 2^2 + 4^2
\]
\[
= 16 + 4 + 0 + 4 + 16 = 40
\]
כְּדֵי:
\[
b = \frac{96}{40} = 2.4
\]
3. חישוב הפרמטר \(a \) (קו החיתוך)
באמצעות הממוצע של \( \bar{x} \) ו- \bar{y} \):
\[
a = \bar{y} – b \bar{x} = 93 – 2.4 \× 6 = 93 – 14.4 = 78.6
\]
4. כתיבת משוואת קו הרגרסיה
בעזרת הפרמטרים שנמצאו, נוכל לכתוב את משוואת קו הרגרסיה:
\[
y = 78.6 + 2.4x
\]
פרשנות ואימות
כדי להבטיח שקו רגרסיה זה מתאים, נוכל לחשב את ערך ה-y החזוי (\(\hat{y}\)) עבור כל x בנתונים ההתחלתיים, וכן לחשב את סכום השגיאות בריבוע (SSE) כדי לאמת את דיוק החיזוי.
| x | y | \(\hat{y}\) | \((y – \hat{y})^2\) |
|—|—-|————|——————–|
| 2 | 81 | 83.4 | (81-83.4)^2 = 5.76 |
| 4 | 93 | 88.2 | (93-88.2)^2 = 23.04|
| 6 | 91 | 93.0 | (91-93.0)^2 = 4.00 |
| 8 | 97 | 97.8 | (97-97.8)^2 = 0.64 |
|10 |103 |102.6 | (103-102.6)^2= 0.16|
SSS:
\[
SSE = 5.76 + 23.04 + 4.00 + 0.64 + 0.16 = 33.6
\]
עם SSE קטן יחסית, אנו יכולים להסיק שקו הרגרסיה שנוצר על ידי שיטת הריבועים הפחותים מתאים היטב לנתונים אלה.
מסקנה
שיטת הריבועים הפחותים היא כלי ניתוח סטטיסטי רב עוצמה לקביעת קו ההתאמה הטוב ביותר עבור מערך נתונים, תוך מזעור שגיאת החיזוי על סמך ריבוע הסטיות. באמצעות שלבי חישוב הממוצע, הערכת השיפוע והחיתוך, וכתיבה ואימות משוואת קו הרגרסיה, נוכל לחזות במדויק את ערך המשתנה התלוי מהמשתנים הבלתי תלויים.
הבנה טובה של שיטה זו שימושית ביותר בתחומים כמו כלכלה, ביוסטטיסטיקה, הנדסה ומדעי החברה, בהם ניתוח רגרסיה מיושם לעתים קרובות. מאמר זה, עם דוגמאות קונקרטיות, ממחיש את החשיבות והתועלת של מתודולוגיה זו בניתוח נתונים.
