روش حداقل مربعات

روش کمترین مربعات: یک تحلیل جامع

روش کمترین مربعات یکی از بنیادی‌ترین تکنیک‌ها در تحلیل رگرسیون آماری است که نقش حیاتی در برازش داده‌ها، مدل‌سازی و تحلیل پیش‌بینی ایفا می‌کند. این یک رویکرد ریاضی است که مجموع مربعات اختلاف بین مقادیر مشاهده‌شده و پیش‌بینی‌شده را به حداقل می‌رساند. با انجام این کار، بهترین خط یا منحنی برازش‌شده را برای مجموعه‌ای از نقاط داده ارائه می‌دهد. در این مقاله، مبانی، کاربردها، مشتقات و محدودیت‌های روش کمترین مربعات را بررسی خواهیم کرد.

پیشینه تاریخی

روش کمترین مربعات برای اولین بار توسط کارل فریدریش گاوس در سال ۱۷۹۵ در سن ۱۸ سالگی معرفی شد، اگرچه تا سال ۱۸۰۹ منتشر نشد. آدرین-ماری لژاندر، یکی دیگر از ریاضیدانان برجسته، به طور مستقل روشی مشابه را در سال ۱۸۰۵ توسعه داد و منتشر کرد. با وجود این، نمادگذاری و گسترش این روش توسط گاوس، پایه و اساس استفاده مدرن از آن را بنا نهاد.

پایه ریاضی

در ساده‌ترین شکل خود، روش کمترین مربعات برای برازش یک مدل خطی به مجموعه‌ای از نقاط داده استفاده می‌شود. با توجه به مجموعه‌ای از n نقطه داده \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\)، هدف یافتن خطی \(y = mx + c\) است که مجموع مربعات فواصل عمودی (باقیمانده‌ها) بین مقادیر مشاهده شده \(y_i\) و مقادیر پیش‌بینی شده توسط خط \(\hat{y}_i\) را به حداقل برساند.

از نظر ریاضی، این هدف را می‌توان به صورت زیر نشان داد:

\[ S = \sum_{i=1}^{n} (y_i – \hat{y}_i)^2 = \sum_{i=1}^{n} (y_i – (mx_i + c))^2 \]

این معادله مجموع مربعات باقیمانده‌ها، \(S\) را نشان می‌دهد، و هدف ما یافتن مقادیر \(m\) (شیب) و \(c\) (عرض از مبدا) است که \(S\) را به حداقل می‌رسانند.

استخراج

برای یافتن مقادیری از \(m\) و \(c\) که مجموع مربعات \(S\) را کمینه می‌کنند، مشتق‌های جزئی \(S\) را نسبت به \(m\) و \(c\) می‌گیریم و آنها را برابر با صفر قرار می‌دهیم.

۱. مشتق جزئی نسبت به \(m\):

\[ \frac{\partial S}{\partial m} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-x_i) = 0 \]

۲. مشتق جزئی نسبت به \(c\):

\[ \frac{\partial S}{\partial c} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-1) = 0 \]

حل این معادلات همزمان منجر به معادلات نرمال زیر می‌شود:

\[ m = \frac{n(\sum x_i y_i) – (\sum x_i)(\sum y_i)}{n (\sum x_i^2) – (\sum x_i)^2} \]

\[ c = \frac{(\sum y_i)(\sum x_i^2) – (\sum x_i)(\sum x_i y_i)}{n(\sum x_i^2) – (\sum x_i)^2} \]

این معادلات مقادیری از \(m\) و \(c\) را به ما می‌دهند که مجموع مربعات باقیمانده‌ها را به حداقل می‌رسانند.

اپلیکیشن‌ها

روش کمترین مربعات کاربردهای گسترده‌ای در حوزه‌های مختلف دارد:

۱. اقتصاد و دارایی: برای مدل‌سازی و پیش‌بینی شاخص‌های اقتصادی مانند تولید ناخالص داخلی، نرخ تورم و قیمت سهام استفاده می‌شود.

۲. مهندسی: در پردازش سیگنال، سیستم‌های کنترل و آزمایش قابلیت اطمینان برای تطبیق مدل‌ها با داده‌های تجربی کاربرد دارد.

۳. پزشکی: به تطبیق منحنی‌های رشد، منحنی‌های دوز-پاسخ و سایر فرآیندهای بیولوژیکی با داده‌های تجربی کمک می‌کند.

۴. یادگیری ماشین: مدل‌های رگرسیون خطی، که اغلب از روش کمترین مربعات برای تخمین پارامتر استفاده می‌کنند، در تکنیک‌های یادگیری نظارت‌شده اساسی هستند.

۵. نجوم: از نظر تاریخی توسط گاوس برای محاسبه مدار اجرام آسمانی استفاده شده است.

تغییرات و الحاقات

۱. حداقل مربعات وزنی: در مواردی که مشاهدات واریانس‌های متفاوتی دارند، حداقل مربعات وزنی به هر نقطه داده وزن اختصاص می‌دهد و مجموع وزنی مربعات را به حداقل می‌رساند.

۲. حداقل مربعات غیرخطی: این روش را برای برازش مدل‌های غیرخطی، اغلب از طریق تکنیک‌های تکراری مانند الگوریتم‌های گاوس-نیوتن یا لونبرگ-مارکوارت، گسترش می‌دهد.

۳. حداقل مربعات منظم (رگرسیون ریج): یک جمله جریمه به مجموع مربعات اضافه می‌کند تا از بیش‌برازش جلوگیری کند، که به‌ویژه هنگام مواجهه با همخطی چندگانه مفید است.

۴. حداقل مربعات تعمیم‌یافته: مشاهدات همبسته را در نظر می‌گیرد و روش حداقل مربعات را برای مدیریت خطاهای خودهمبستگی و ناهمسانی واریانس گسترش می‌دهد.

ابزارهای محاسباتی

ابزارهای نرم‌افزاری و محیط‌های برنامه‌نویسی مختلفی توابع داخلی برای انجام رگرسیون حداقل مربعات ارائه می‌دهند:

۱. پایتون: کتابخانه‌هایی مانند NumPy و SciPy توابع `numpy.linalg.lstsq` و `scipy.optimize.curve_fit` را به ترتیب برای برازش حداقل مربعات خطی و غیرخطی ارائه می‌دهند.

۲. R: توابعی مانند `lm()` برای مدل‌های خطی و `nls()` برای مدل‌های غیرخطی در محیط آماری جامع R.

۳. متلب: تابع `lsqcurvefit` در متلب برای برازش غیرخطی استفاده می‌شود و از عملیات جبر خطی نیز پشتیبانی می‌کند.

محدودیت ها

با وجود کاربرد گسترده، روش حداقل مربعات محدودیت‌هایی دارد:

۱. حساسیت به داده‌های پرت: روش کمترین مربعات به داده‌های پرت بسیار حساس است، زیرا عبارت مجذور، تأثیر باقیمانده‌های بزرگ را تشدید می‌کند.

۲. فرض خطی بودن: فرض می‌کند که بین متغیرها رابطه خطی وجود دارد، که ممکن است برای مجموعه داده‌های پیچیده صادق نباشد.

۳. مسائل مربوط به هم خطی چندگانه: در رگرسیون خطی چندگانه، هم خطی چندگانه بین متغیرهای پیش‌بینی‌کننده می‌تواند تخمین ضرایب را تحریف کند.

۴. همگنی واریانس (هم‌واریانسی): فرض می‌کند که واریانس جملات خطا در بین مشاهدات ثابت است، که ممکن است همیشه اینطور نباشد.

نتیجه

روش کمترین مربعات، علیرغم قدمتش، همچنان سنگ بنایی در تحلیل و مدل‌سازی داده‌های آماری است. سادگی، اثربخشی و سازگاری آن با اشکال مختلف، از رگرسیون خطی ساده گرفته تا مدل‌های پیچیده غیرخطی و تعمیم‌یافته، آن را بسیار ارزشمند می‌کند. درک مبانی ریاضی، کاربردها و محدودیت‌های آن برای هر کسی که در تحلیل داده‌ها دخیل است، ضروری است و اطمینان حاصل می‌شود که این روش به طور مناسب برای استخراج بینش‌های معنادار به کار گرفته می‌شود. چه در دانشگاه و چه در صنعت، روش کمترین مربعات همچنان ابزاری قوی برای درک روابط درون داده‌ها و انجام پیش‌بینی‌های آگاهانه است.