طريقة المربعات الصغرى

طريقة المربعات الصغرى: منهج رياضي للتقدير

بنداهولوان

طريقة المربعات الصغرى هي أسلوب إحصائي يُستخدم لتقدير معلمات نموذج الانحدار عن طريق تقليل مجموع مربعات الأخطاء بين القيم الفعلية والقيم المتوقعة من النموذج. تحظى هذه الطريقة بشعبية واسعة وتُستخدم بكثرة في مجالات متنوعة كالاقتصاد والهندسة وعلم الأحياء والعلوم الاجتماعية. وقد طُرح مفهوم المربعات الصغرى لأول مرة من قِبل أدريان ماري ليجندر في أوائل القرن التاسع عشر، ثم طوّره لاحقًا كارل فريدريش جاوس.

الفهم الأساسي

بشكل عام، تهدف طريقة المربعات الصغرى إلى إيجاد خط الانحدار الأمثل لمجموعة بيانات عن طريق تقليل مجموع مربعات البواقي، أو أخطاء التنبؤ. والباقي هو الفرق بين القيمة المرصودة والقيمة المتوقعة.

إذا كان لدينا مجموعة بيانات تتكون من أزواج من الملاحظات \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), فإن هدفنا هو إيجاد الخط \(y = mx + b\) الذي يقلل من مجموع مربعات الأخطاء sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).

يمكن تطبيق هذه الطريقة على كل من الانحدار الخطي البسيط والانحدار الخطي المتعدد. في الانحدار الخطي البسيط، لدينا متغير مستقل واحد فقط (x)، بينما يتضمن الانحدار الخطي المتعدد أكثر من متغير مستقل.

الانحدار الخطي البسيط

لنبدأ بالانحدار الخطي البسيط. لنفترض أن لدينا مجموعة بيانات \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). نموذج الانحدار الخطي البسيط الذي نريد تطبيقه هو:

\[ y = mx + b + \epsilon \]

حيث \( m \) هو الميل، و\( b \) هو نقطة التقاطع، و\( \epsilon \) هو الخطأ العشوائي.

باستخدام طريقة المربعات الصغرى، يمكننا إيجاد تقديرات للمعاملين \( m \) و \( b \) عن طريق تقليل دالة الخطأ التربيعي:

\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]

لتقليل \( S(m, b) \)، نجد المشتقات الجزئية لـ \( S \) بالنسبة إلى \( m \) و \( b \)، ثم نحل هذه المعادلة لإيجاد قيم \( m \) و \( b \):

\[ \begin{aligned}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]

بعد التبسيط، نحصل على المعادلتين الطبيعيتين التاليتين:

\[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]

من خلال حل نظام المعادلات أعلاه، يمكننا إيجاد قيم \( m \) و \( b \) التي تقلل من الخطأ التربيعي.

الانحدار الخطي المتعدد

في الانحدار الخطي المتعدد، نواجه حالةً يكون لدينا فيها أكثر من متغير مستقل. لنفترض أن لدينا بيانات على شكل مجموعة مرتبة \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). نموذج الانحدار الذي نستخدمه هو:

\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]

يمكن كتابة هذه المعادلة في شكل مصفوفة كما يلي:

\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]

أين:
- \( \mathbf{y} \) هو متجه عمودي لقيم y المرصودة.
– \( \mathbf{X} \) هي مصفوفة من قيم x المرصودة (بما في ذلك العمود 1 للتقاطع).
- \( \mathbf{b} \) هو متجه عمودي للمعاملات (بما في ذلك \( b_0 \)).

يهدف أسلوب المربعات الصغرى إلى تقليل دالة الخطأ التربيعية التالية:

\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]

لتقليل هذه الدالة، نأخذ المشتقة الجزئية لـ S بالنسبة إلى \( \mathbf{b} \) ونجعلها تساوي صفرًا. وهذا يُعطي المعادلة العادية للانحدار الخطي المتعدد:

\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]

من خلال حل نظام المعادلات أعلاه، يمكننا الحصول على تقدير للمعامل \( \mathbf{b} \):

\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]

المكافآت والحوافز

تتميز طريقة المربعات الصغرى بالعديد من المزايا، فهي طريقة فعالة وبسيطة للغاية. كما أنها توفر حلاً فريداً إذا كانت المصفوفة \( \mathbf{X}^T \mathbf{X} \) قابلة للعكس، مما يجعلها موثوقة للعديد من التطبيقات العملية.

مع ذلك، فإن طريقة المربعات الصغرى لها حدودها. فهي حساسة للغاية للقيم الشاذة لأن مربع الخطأ يُبرز الفروق الكبيرة أكثر من الفروق الصغيرة. علاوة على ذلك، يجب استيفاء الافتراض الكلاسيكي بأن الأخطاء تتبع التوزيع الطبيعي بمتوسط ​​صفر وتباين ثابت للحصول على نتائج جيدة.

Aplikasi Praktis

تُستخدم طريقة المربعات الصغرى بكثرة في تحليل اتجاهات البيانات والتنبؤ والتعلم الآلي لبناء نماذج تنبؤية. في القطاع المالي، تُستخدم هذه الطريقة للتنبؤ بأسعار الأسهم أو أداء السوق. وفي الطب، تُستخدم لنمذجة العلاقة بين جرعة الدواء واستجابة المريض. أما في العلوم الاجتماعية، فتساعد على فهم العلاقة بين متغيرات مثل التعليم والدخل.

استنتاج

تُعدّ طريقة المربعات الصغرى إحدى التقنيات الأساسية في الإحصاء وتحليل البيانات. ورغم بساطة مفهومها، إلا أنها تتمتع بقدرة كبيرة على نمذجة العلاقات بين المتغيرات وفهمها. ونظرًا لتطبيقاتها الواسعة في مختلف المجالات، فإنّ فهمًا متينًا لهذه الطريقة يُعدّ ذا قيمة بالغة للمختصين والباحثين على حدّ سواء. ومع تزايد حجم البيانات في عصر البيانات الضخمة، ستزداد أهمية تكييف وتطبيق الطرق الكلاسيكية، كطريقة المربعات الصغرى، بشكلٍ ملحوظ.