שיטת הריבועים הפחותים

שיטת הריבועים הפחותים: גישה מתמטית לאומדן

פנדהולואן

שיטת הריבועים הפחותים היא טכניקה סטטיסטית המשמשת להערכת פרמטרים במודל רגרסיה על ידי מזעור סכום השגיאות בריבוע בין הערכים בפועל לערכים שחזו על ידי המודל. שיטה זו פופולרית מאוד ומשמשת לעתים קרובות בתחומים שונים כגון כלכלה, הנדסה, ביולוגיה ומדעי החברה . מושג הריבועים הפחותים הוצע לראשונה על ידי אדריאן-מארי לג'נדר בתחילת המאה ה-19, ופותח מאוחר יותר על ידי קרל פרידריך גאוס.

הבנה בסיסית

באופן כללי, שיטת הריבועים הפחותים שואפת למצוא את קו הרגרסיה המתאים ביותר עבור קבוצת נתונים על ידי מזעור סכום הריבועים של השאריות, או שגיאות חיזוי. השארית היא ההפרש בין הערך הנצפה לערך החזוי.

אם יש לנו מערך נתונים המורכב מזוגות של תצפיות ((x_1, y_1), (x_2, y_2), ..., (x_n, y_n)), אז המטרה שלנו היא למצוא את הקו (y = mx + b) שממזער את סכום השגיאות בריבוע sum( sum_{i=1}^{n} (y_i – (mx_i + b))^2 ).

ניתן ליישם שיטה זו הן ברגרסיה לינארית פשוטה והן ברגרסיה לינארית מרובה. ברגרסיה לינארית פשוטה , יש לנו רק משתנה בלתי תלוי אחד (x), בעוד שרגרסיה לינארית מרובה כוללת יותר ממשתנה בלתי תלוי אחד.

רגרסיה לינארית פשוטה

נתחיל ברגרסיה לינארית פשוטה. נניח שיש לנו מערך נתונים \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). מודל הרגרסיה הלינארית הפשוט שאנו רוצים להתאים הוא:

\[ y = mx + b + \epsilon \]

כאשר \(m \) הוא השיפוע, \(b \) הוא נקודת החיתוך, ו- \(epsilon \) היא השגיאה האקראית.

באמצעות שיטת הריבועים הפחותים, נוכל למצוא אומדנים של הפרמטרים \(m \) ו- \(b \) על ידי מזעור פונקציית השגיאה בריבוע:

[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]

כדי למזער את S(m, b)), נמצא את הנגזרות החלקיות של S ביחס ל-m ו-b, ולאחר מכן פותרים את המשוואה הזו עבור m ו-b:

\[ \begin{aligned}
‏\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
‏\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]

לאחר פישוט, נקבל את שתי המשוואות הנורמליות הבאות:

\[ \begin{aligned}
n\bar{y} & = m \sum_{i=1}^{n} x_i + nb \\
ערך i=1^n^x_i ו-y=m ערך i=1^n^x_i + b ערך i=1^n^x_i
\end{aligned} \]

על ידי פתרון מערכת המשוואות לעיל, נוכל למצוא את הערכים של \(m \) ו- \(b \) אשר ממזערים את השגיאה הריבועית.

רגרסיה לינארית מרובה

ברגרסיה לינארית מרובה, אנו ניצבים בפני מצב בו יש לנו יותר ממשתנה בלתי תלוי אחד. נניח שיש לנו נתונים בצורת צמד \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). מודל הרגרסיה בו אנו משתמשים הוא:

\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]

ניתן לכתוב משוואה זו בצורת מטריצה ​​כך:

\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]

אֵיפֹה:
– \( \mathbf{y} \) הוא וקטור עמודה של ערכי y שנצפו.
– \( \mathbf{X} \) היא מטריצה ​​של ערכי x נצפים (כולל עמודה 1 עבור נקודת החיתוך).
– \( \mathbf{b} \) הוא וקטור עמודה של הפרמטרים (כולל \( b_0 \)).

מטרת שיטת הריבועים הפחותים היא למזער את פונקציית השגיאה הריבועית הבאה:

\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]

כדי למזער פונקציה זו, ניקח את הנגזרת החלקית של S ביחס ל- \( \mathbf{b} \) ונקבע אותה לאפס. פעולה זו מניבה את המשוואה הנורמלית עבור רגרסיה לינארית מרובה:

[\mathbf{X}^T \mathbf{X} = \mathbf{X}^T \mathbf{y} \]

על ידי פתרון מערכת המשוואות לעיל, נוכל לקבל אומדן של הפרמטר \( \mathbf{b} \):

[\mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]

יתרונות ומגבלות

לשיטת הריבועים הפחותים יתרונות רבים. זוהי שיטה יעילה ופשוטה מאוד לשימוש. היא מציעה פתרון ייחודי אם \( \mathbf{X}^T \mathbf{X} \) ניתן להפיכה, מה שהופך אותה לאמינה עבור יישומים מעשיים רבים.

עם זאת, לשיטת הריבועים הפחותים יש גם מגבלות. היא רגישה מאוד לחריגים מכיוון שהשגיאה בריבוע מדגישה הבדלים גדולים יותר מאשר קטנים. יתר על כן, יש לעמוד בהנחה הקלאסית שלטעויות יש התפלגות נורמלית עם ממוצע אפס ושונות קבועה לקבלת תוצאות טובות.

יישומים מעשיים

שיטת הריבועים הפחותים משמשת לעתים קרובות בניתוח מגמות נתונים, חיזוי ולמידת מכונה לבניית מודלים ניבוייים. בתעשייה הפיננסית, שיטת הריבועים הפחותים משמשת לחיזוי מחירי מניות או ביצועי שוק. ברפואה, היא משמשת למידול הקשר בין מינון תרופות לתגובת המטופל. במדעי החברה, היא מסייעת להבין את הקשר בין משתנים כמו השכלה והכנסה.

מסקנה

שיטת הריבועים הפחותים היא אחת הטכניקות הבסיסיות בסטטיסטיקה ובניתוח נתונים. למרות היותה פשוטה מבחינה קונספטית, שיטה זו מציעה כוח משמעותי במידול והבנת קשרים בין משתנים. עם יישומים נרחבים במגוון רחב של תחומים, הבנה מוצקה של שיטה זו היא בעלת ערך רב עבור אנשי מקצוע וחוקרים כאחד. בעתיד, עם כמות הנתונים ההולכת וגדלה שנתקלים בה בעידן הביג דאטה, ההתאמה והיישום של שיטות קלאסיות כמו הריבועים הפחותים רק יהפכו לרלוונטיות יותר ויותר.