روش کمترین مربعات: رویکردی ریاضی برای تخمین
پنداهولوان
روش حداقل مربعات یک تکنیک آماری است که برای تخمین پارامترها در یک مدل رگرسیون با به حداقل رساندن مجموع مربعات خطاها بین مقادیر واقعی و مقادیر پیشبینیشده توسط مدل استفاده میشود. این روش بسیار محبوب است و اغلب در زمینههای مختلفی مانند اقتصاد، مهندسی، زیستشناسی و علوم اجتماعی استفاده میشود. مفهوم حداقل مربعات ابتدا توسط آدرین-ماری لژاندر در اوایل قرن نوزدهم مطرح شد و بعدها توسط کارل فریدریش گاوس توسعه بیشتری یافت.
درک اولیه
به طور کلی، روش حداقل مربعات با هدف یافتن بهترین خط رگرسیون برای یک مجموعه داده، با به حداقل رساندن مجموع مربعات باقیماندهها یا خطاهای پیشبینی انجام میشود. باقیمانده، تفاوت بین مقدار مشاهده شده و مقدار پیشبینی شده است.
اگر مجموعه دادهای متشکل از جفت مشاهدات داشته باشیم \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\)، هدف ما یافتن خطی \(y = mx + b\) است که مجموع مربعات خطاها sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \) را به حداقل برساند.
این روش را میتوان هم در رگرسیون خطی ساده و هم در رگرسیون خطی چندگانه به کار برد. در رگرسیون خطی ساده، فقط یک متغیر مستقل (x) داریم، در حالی که رگرسیون خطی چندگانه شامل بیش از یک متغیر مستقل است.
رگرسیون خطی ساده
بیایید با رگرسیون خطی ساده شروع کنیم. فرض کنید مجموعه دادهای داریم \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). مدل رگرسیون خطی سادهای که میخواهیم برازش دهیم به صورت زیر است:
\[y = mx + b + \epsilon \]
که در آن \(m \) شیب، \(b \) عرض از مبدا و \(ε \) خطای تصادفی است.
با استفاده از روش حداقل مربعات، میتوانیم تخمینهایی از پارامترهای \(m \) و \(b \) را با به حداقل رساندن تابع مربع خطا پیدا کنیم:
\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
برای به حداقل رساندن (S(m, b)، مشتقهای جزئی (S) را نسبت به (m) و (b) پیدا میکنیم و سپس این معادله را برای (m) و (b) حل میکنیم:
\[ \begin{aligned}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{تراز شده} \]
پس از سادهسازی، دو معادله نرمال زیر را بدست میآوریم:
\[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i و = m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{تراز شده} \]
با حل دستگاه معادلات بالا، میتوانیم مقادیر \(m \) و \(b \) را که خطای مربع را کمینه میکنند، بیابیم.
رگرسیون خطی چندگانه
در رگرسیون خطی چندگانه، با موقعیتی مواجه میشویم که بیش از یک متغیر مستقل داریم. فرض کنید دادههایی به شکل یک چندتایی داریم \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). مدل رگرسیونی که استفاده میکنیم به صورت زیر است:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
این معادله را میتوان به صورت ماتریسی به صورت زیر نوشت:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
کجا:
- \( \mathbf{y} \) یک بردار ستونی از مقادیر مشاهده شده y است.
- \( \mathbf{X} \) ماتریسی از مقادیر x مشاهده شده (شامل ستون 1 برای عرض از مبدا) است.
- \( \mathbf{b} \) یک بردار ستونی از پارامترها (شامل \( b_0 \)) است.
هدف روش حداقل مربعات، کمینه کردن تابع خطای درجه دوم زیر است:
\[ S(\mathbf{b}) = (\mathbf{y} - \mathbf{Xb})^T (\mathbf{y} - \mathbf{Xb}) \]
برای به حداقل رساندن این تابع، مشتق جزئی S را نسبت به \( \mathbf{b} \) میگیریم و آن را برابر با صفر قرار میدهیم. این معادله نرمال برای رگرسیون خطی چندگانه را به دست میدهد:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
با حل دستگاه معادلات بالا، میتوانیم تخمینی از پارامتر \( \mathbf{b} \) بدست آوریم:
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
کِونتونگان و کِتِرباتاسان
روش کمترین مربعات مزایای زیادی دارد. این روش بسیار کارآمد و ساده است. اگر \mathbf{X}^T \mathbf{X} \) معکوسپذیر باشد، یک راهحل منحصر به فرد ارائه میدهد که آن را برای بسیاری از کاربردهای عملی قابل اعتماد میکند.
با این حال، روش حداقل مربعات نیز محدودیتهایی دارد. این روش به دادههای پرت بسیار حساس است زیرا خطای مربعات بر تفاوتهای بزرگ بیشتر از تفاوتهای کوچک تأکید دارد. علاوه بر این، فرض کلاسیک مبنی بر اینکه خطاها دارای توزیع نرمال با میانگین صفر و واریانس ثابت هستند، برای نتایج خوب باید رعایت شود.
کاربردی عملی
روش حداقل مربعات اغلب در تحلیل روند دادهها، پیشبینی و یادگیری ماشین برای ساخت مدلهای پیشبینیکننده استفاده میشود. در صنعت مالی، روش حداقل مربعات برای پیشبینی قیمت سهام یا عملکرد بازار استفاده میشود. در پزشکی، برای مدلسازی رابطه بین دوز دارو و پاسخ بیمار استفاده میشود. در علوم اجتماعی، به درک رابطه بین متغیرهایی مانند تحصیلات و درآمد کمک میکند.
نتیجه گیری
روش کمترین مربعات یکی از تکنیکهای اساسی در آمار و تحلیل دادهها است. این روش اگرچه از نظر مفهومی ساده است، اما قدرت قابل توجهی در مدلسازی و درک روابط بین متغیرها ارائه میدهد. با کاربردهای گسترده در طیف وسیعی از زمینهها، درک قوی از این روش برای متخصصان و محققان بسیار ارزشمند است. با افزایش حجم دادههایی که در عصر کلانداده با آنها مواجه میشویم، در آینده، تطبیق و کاربرد روشهای کلاسیک مانند کمترین مربعات به طور فزایندهای اهمیت پیدا خواهد کرد.
