مثالی از سوالات بحث روش کمترین مربعات
روش کمترین مربعات (LEM) یک روش آماری است که برای یافتن خط بهترین برازش که به مؤثرترین شکل داده‌ها را پیش‌بینی می‌کند، استفاده می‌شود. این روش اغلب در تحلیل رگرسیون خطی برای تشخیص رابطه بین متغیرهای مستقل و وابسته استفاده می‌شود. این مقاله مفاهیم اساسی روش کمترین مربعات را همراه با مثال‌ها و توضیحات گام به گام برای درک عمیق‌تر نحوه عملکرد این روش پوشش خواهد داد.
مفاهیم اساسی روش کمترین مربعات
هدف روش حداقل مربعات، به حداقل رساندن مجموع مربعات اختلاف بین مقادیر مشاهده شده و مقادیر پیش‌بینی شده توسط مدل رگرسیون است. معادله یک خط رگرسیون خطی ساده را می‌توان به صورت زیر نوشت:
\[ y = a + bx \]
کجا:
- \(y \) متغیر وابسته است،
- \(x \) متغیر مستقل است،
- \(a \) نقطه تقاطع (مقدار \(y \) وقتی \(x = 0 \)) است،
- \(b \) شیب خط (شیب یا ضریب رگرسیون) است.
روش کمترین مربعات پارامترهای a و b را تخمین می‌زند که تابع زیر را کمینه می‌کنند:
\[ \text{SSE} = \sum_{i=1}^{n} (y_i – \hat{y_i})^2 \]
که در آن SSE مجموع مربعات خطاها، y_i مقدار واقعی و y_i = a + bx_i مقدار پیش‌بینی‌شده است.
مراحل روش حداقل مربعات
برای روشن شدن مفهوم، یک مثال از مسئله‌ای که شامل استفاده از روش حداقل مربعات است را حل خواهیم کرد.
مثال مشکلات
با توجه به داده‌های زیر:
| x (ساعات مطالعه) | y (نمره امتحان) |
|———————–|——————–|
| ۲۰۵ | ۱۰۰ |
| ۲۰۵ | ۱۰۰ |
| ۲۰۵ | ۱۰۰ |
| ۲۰۵ | ۱۰۰ |
| ۱۰ | ۱۰۳ |
خط رگرسیون خطی که به بهترین شکل با داده‌ها برازش دارد را تعیین کنید.
پمباهاسان
۱. محاسبه میانگین \( \bar{x} \) و \( \bar{y} \)
\[
\bar{x} = \frac{\sum x_i}{n} = \frac{2 + 4 + 6 + 8 + 10}{5} = 6
\]
\[
\bar{y} = \frac{\sum y_i}{n} = \frac{81 + 93 + 91 + 97 + 103}{5} = 93
\]
۲. محاسبه پارامتر \(b \) (شیب)
پارامتر \(b \) به صورت زیر محاسبه می‌شود:
\[
b = \frac{\sum (x_i – \bar{x})(y_i – \bar{y})}{\sum (x_i – \bar{x})^2}
\]
محاسبه هر جزء:
\[
\sum (x_i – \bar{x})(y_i – \bar{y}) = (2-6)(81-93) + (4-6)(93-93) + (6-6)(91-93) + (8-6)(97-93) + (10-6)(103-93)
\]
\[
= (-4)(-12) + (-2)(0) + (0)(-2) + (2)(4) + (4)(10)
\]
\[
= ۹ + ۴ + ۰ + ۴ + ۹ = ۲۶
\]
\[
\sum (x_i – \bar{x})^2 = (2-6)^2 + (4-6)^2 + (6-6)^2 + (8-6)^2 + (10-6)^2
\]
\[
= (-4)^2 + (-2)^2 + 0^2 + 2^2 + 4^2
\]
\[
= ۹ + ۴ + ۰ + ۴ + ۹ = ۲۶
\]
به طوری که:
\[
ب = \frac{96}{40} = 2.4
\]
۳. محاسبه پارامتر \(a \) (عرض از مبدا)
با استفاده از میانگین \( \bar{x} \) و \( \bar{y} \):
\[
a = \bar{y} – b\bar{x} = 93 – 2.4 \times 6 = 93 – 14.4 = 78.6
\]
۴. نوشتن معادله خط رگرسیون
با پارامترهای یافت شده، می‌توانیم معادله خط رگرسیون را بنویسیم:
\[
ی = ۷۸.۶ + ۲.۴x
\]
تفسیر و تأیید
برای اطمینان از برازش این خط رگرسیون، می‌توانیم مقدار y پیش‌بینی‌شده (\(\hat{y}\)) را برای هر x در داده‌های اولیه محاسبه کنیم، و همچنین مجموع مربعات خطاها (SSE) را برای اعتبارسنجی دقت پیش‌بینی محاسبه کنیم.
| x | y | \(\hat{y}\) | \((y – \hat{y})^2\) |
|—|—-|————|——————–|
| ۸ | ۹۷ | ۹۷.۸ | (۹۷-۹۷.۸)^۲ = ۰.۶۴ |
| ۴ | ۹۳ | ۸۸.۲ | (۹۳-۸۸.۲)^۲ = ۲۳.۰۴|
| ۸ | ۹۷ | ۹۷.۸ | (۹۷-۹۷.۸)^۲ = ۰.۶۴ |
| ۸ | ۹۷ | ۹۷.۸ | (۹۷-۹۷.۸)^۲ = ۰.۶۴ |
|10 |103 |102.6 | (103-102.6)^2= 0.16|
SSS:
\[
میانگین مربعات جزئی = ۵.۷۶ + ۲۳.۰۴ + ۴.۰۰ + ۰.۶۴ + ۰.۱۶ = ۳۳.۶
\]
با SSE نسبتاً کوچک، می‌توان نتیجه گرفت که خط رگرسیون تولید شده با روش حداقل مربعات، برازش خوبی برای این داده‌ها دارد.
نتیجه گیری
روش کمترین مربعات یک ابزار تحلیل آماری قدرتمند برای تعیین بهترین خط برازش برای یک مجموعه داده است که خطای پیش‌بینی را بر اساس مجذور انحرافات به حداقل می‌رساند. با استفاده از مراحل محاسبه میانگین، تخمین شیب و عرض از مبدا، و نوشتن و تأیید معادله خط رگرسیون، می‌توانیم مقدار متغیر وابسته را از متغیرهای مستقل به طور دقیق پیش‌بینی کنیم.
درک خوب از این روش در زمینه‌هایی مانند اقتصاد، آمار زیستی، مهندسی و علوم اجتماعی که در آن‌ها تحلیل رگرسیون مکرراً به کار می‌رود، بسیار مفید است. این مقاله، با مثال‌های ملموس، اهمیت و سودمندی این روش را در تحلیل داده‌ها نشان می‌دهد.
