طريقة المربعات الصغرى: تحليل شامل
تُعدّ طريقة المربعات الصغرى إحدى أهمّ التقنيات الأساسية في تحليل الانحدار الإحصائي، إذ تلعب دورًا محوريًا في ملاءمة البيانات، والنمذجة، والتحليل التنبؤي. وهي منهج رياضي يُقلّل مجموع مربعات الفروق بين القيم المرصودة والمتوقعة، وبالتالي يُوفّر أفضل خط أو منحنى مُلائم لمجموعة مُعطاة من نقاط البيانات. في هذه المقالة، سنستكشف أسس طريقة المربعات الصغرى، وتطبيقاتها، واشتقاقاتها، وقيودها.
خلفية تاريخية
تم تقديم طريقة المربعات الصغرى لأول مرة من قبل كارل فريدريش جاوس في عام 1795 عندما كان عمره 18 عامًا، على الرغم من أنها لم تُنشر حتى عام 1809. قام أدريان ماري ليجندر، وهو عالم رياضيات بارز آخر، بتطوير ونشر طريقة مماثلة بشكل مستقل في عام 1805. على الرغم من ذلك، فإن تدوين جاوس وتوسيعه للطريقة وضعا الأساس للاستخدام الحديث.
مؤسسة رياضية
في أبسط صورها، تُستخدم طريقة المربعات الصغرى لملاءمة نموذج خطي لمجموعة من نقاط البيانات. بفرض وجود مجموعة من `n` نقطة بيانات \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\)، فإن الهدف هو إيجاد خط \(y = mx + c\) يُقلل مجموع مربعات المسافات الرأسية (البواقي) بين القيم المرصودة \(y_i\) والقيم المتوقعة بواسطة الخط \(\hat{y}_i\).
رياضياً، يمكن تمثيل هذا الهدف على النحو التالي:
\[ S = \sum_{i=1}^{n} (y_i – \hat{y}_i)^2 = \sum_{i=1}^{n} (y_i – (mx_i + c))^2 \]
تمثل هذه المعادلة مجموع مربعات البواقي، \(S\)، وهدفنا هو إيجاد قيم \(m\) (الميل) و\(c\) (التقاطع) التي تقلل من \(S\).
استنتاج
لإيجاد قيم \(m\) و \(c\) التي تقلل من مجموع المربعات \(S\)، نأخذ المشتقات الجزئية لـ \(S\) بالنسبة إلى \(m\) و \(c\) ونجعلها تساوي صفرًا.
1. المشتقة الجزئية بالنسبة إلى \(m\):
\[ \frac{\partial S}{\partial m} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-x_i) = 0 \]
2. المشتقة الجزئية بالنسبة إلى \(c\):
\[ \frac{\partial S}{\partial c} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-1) = 0 \]
ينتج عن حل هذه المعادلات الآنية المعادلات العادية التالية:
\[ m = \frac{n(\sum x_i y_i) – (\sum x_i)(\sum y_i)}{n (\sum x_i^2) – (\sum x_i)^2} \]
\[ c = \frac{(\sum y_i)(\sum x_i^2) – (\sum x_i)(\sum x_i y_i)}{n(\sum x_i^2) – (\sum x_i)^2} \]
تعطينا هذه المعادلات قيم \(m\) و \(c\) التي تقلل من مجموع مربعات البواقي.
الاستخدامات
تتمتع طريقة المربعات الصغرى بتطبيقات واسعة النطاق في مختلف المجالات:
1. الاقتصاد والمالية: يستخدم لنمذجة وتوقع المؤشرات الاقتصادية مثل الناتج المحلي الإجمالي ومعدلات التضخم وأسعار الأسهم.
2. الهندسة: يتم تطبيقها في معالجة الإشارات وأنظمة التحكم واختبار الموثوقية لمطابقة النماذج مع البيانات التجريبية.
3. الطب: يساعد في مطابقة منحنيات النمو، ومنحنيات الاستجابة للجرعة، والعمليات البيولوجية الأخرى مع البيانات التجريبية.
4. التعلم الآلي: تعتبر نماذج الانحدار الخطي، التي تستخدم غالبًا طريقة المربعات الصغرى لتقدير المعلمات، أساسية في تقنيات التعلم الخاضع للإشراف.
5. علم الفلك: استخدمه جاوس تاريخياً لحساب مدارات الأجرام السماوية.
الاختلافات والتمديدات
1. المربعات الصغرى الموزونة: في الحالات التي يكون فيها للملاحظات تباينات مختلفة، فإن المربعات الصغرى الموزونة تعين أوزاناً لكل نقطة بيانات، مما يقلل من المجموع الموزون للمربعات.
2. المربعات الصغرى غير الخطية: توسع الطريقة لتناسب النماذج غير الخطية، غالبًا من خلال تقنيات تكرارية مثل خوارزميات جاوس-نيوتن أو ليفنبرغ-ماركوارت.
3. المربعات الصغرى المنتظمة (انحدار ريدج): يضيف مصطلح جزاء إلى مجموع المربعات لمنع التجاوز، وهو مفيد بشكل خاص عند التعامل مع الارتباط الخطي المتعدد.
4. المربعات الصغرى المعممة: تأخذ في الاعتبار الملاحظات المترابطة، وتوسع طريقة المربعات الصغرى للتعامل مع الأخطاء المرتبطة ذاتيًا والأخطاء غير المتجانسة.
الأدوات الحسابية
توفر العديد من أدوات البرمجيات وبيئات البرمجة وظائف مدمجة لإجراء تحليل الانحدار باستخدام طريقة المربعات الصغرى:
1. بايثون: توفر المكتبات مثل NumPy و SciPy وظائف `numpy.linalg.lstsq` و `scipy.optimize.curve_fit` لتركيب المربعات الصغرى الخطية وغير الخطية، على التوالي.
2. R: وظائف مثل `lm()` للنماذج الخطية و `nls()` للنماذج غير الخطية في بيئة R الإحصائية الشاملة.
3. MATLAB: يتم استخدام الدالة `lsqcurvefit` في MATLAB للمطابقة غير الخطية، مع دعم مدمج لعمليات الجبر الخطي.
القيود
على الرغم من قابليتها للتطبيق على نطاق واسع، إلا أن طريقة المربعات الصغرى لها قيود:
1. الحساسية للقيم المتطرفة: تعتبر طريقة المربعات الصغرى حساسة للغاية للقيم المتطرفة، حيث أن الحد التربيعي يضخم تأثير البقايا الكبيرة.
2. افتراض الخطية: يفترض وجود علاقة خطية بين المتغيرات، وهو ما قد لا يكون صحيحًا بالنسبة لمجموعات البيانات المعقدة.
3. مشاكل الارتباط الخطي المتعدد: في الانحدار الخطي المتعدد، يمكن أن يؤدي الارتباط الخطي المتعدد بين المتغيرات التنبؤية إلى تشويه تقدير المعاملات.
4. تجانس التباين (تجانس التباين): يفترض أن تباين حدود الخطأ ثابت عبر الملاحظات، وهو ما قد لا يكون هو الحال دائمًا.
خاتمة
لا تزال طريقة المربعات الصغرى، رغم قدمها، ركيزة أساسية في تحليل البيانات الإحصائية ونمذجتها. فبساطتها وفعاليتها وقابليتها للتكيف مع مختلف الأشكال، بدءًا من الانحدار الخطي البسيط وصولًا إلى النماذج غير الخطية والمعممة المعقدة، تجعلها أداة لا غنى عنها. ويُعد فهم أسسها الرياضية وتطبيقاتها وحدودها أمرًا بالغ الأهمية لكل من يعمل في مجال تحليل البيانات، لضمان تطبيقها بالشكل الأمثل لاستخلاص رؤى قيّمة. وسواء في الأوساط الأكاديمية أو الصناعية، تبقى طريقة المربعات الصغرى أداة فعّالة لفهم العلاقات داخل البيانات ووضع تنبؤات مدروسة.
