کم سے کم چوکوں کا طریقہ

کم سے کم چوکوں کا طریقہ: تخمینہ لگانے کا ایک ریاضیاتی نقطہ نظر

Pendahuluan

کم از کم چوکوں کا طریقہ ایک شماریاتی تکنیک ہے جو ریگریشن ماڈل میں پیرامیٹرز کا تخمینہ لگانے کے لیے اصل قدروں اور ماڈل کی طرف سے پیش گوئی کی گئی اقدار کے درمیان مربع کی غلطیوں کے مجموعے کو کم سے کم کر کے استعمال کیا جاتا ہے۔ یہ طریقہ بہت مقبول ہے اور اکثر مختلف شعبوں جیسے معاشیات، انجینئرنگ، حیاتیات اور سماجی علوم میں استعمال ہوتا ہے۔ کم سے کم چوکوں کا تصور سب سے پہلے 19ویں صدی کے اوائل میں ایڈرین-میری لیجینڈر نے پیش کیا تھا اور بعد میں کارل فریڈرک گاس نے اسے مزید تیار کیا تھا۔

بنیادی تفہیم

عام طور پر، کم از کم مربعوں کے طریقہ کار کا مقصد بقایا کے مربعوں کے مجموعہ، یا پیشین گوئی کی غلطیوں کو کم سے کم کرکے ڈیٹا سیٹ کے لیے بہترین فٹ ریگریشن لائن تلاش کرنا ہے۔ بقایا مشاہدہ شدہ قدر اور پیش گوئی شدہ قدر کے درمیان فرق ہے۔

اگر ہمارے پاس مشاہدات کے جوڑوں پر مشتمل ڈیٹا سیٹ ہے \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\)، تو ہمارا مقصد لائن \(y = mx + b\) کو تلاش کرنا ہے جو مربع غلطیوں کے مجموعے کو کم سے کم کرتا ہے sum\( \sum_{i=1) (b^_n=2) (b^_n) \)۔

یہ طریقہ سادہ لکیری رجعت اور ایک سے زیادہ لکیری رجعت دونوں پر لاگو کیا جا سکتا ہے۔ سادہ لکیری رجعت میں، ہمارے پاس صرف ایک آزاد متغیر (x) ہے، جبکہ متعدد لکیری رجعت میں ایک سے زیادہ آزاد متغیر شامل ہیں۔

سادہ لکیری رجعت

آئیے سادہ لکیری رجعت کے ساتھ شروع کریں۔ فرض کریں کہ ہمارے پاس ڈیٹا سیٹ ہے \((x_1, y_1), (x_2, y_2), …, (x_n, y_n))۔ سادہ لکیری ریگریشن ماڈل جسے ہم فٹ کرنا چاہتے ہیں وہ ہے:

\[ y = mx + b + \epsilon \]

جہاں \( m \) ڈھلوان ہے، \( b \) intercept ہے، اور \( \epsilon \) بے ترتیب غلطی ہے۔

کم از کم مربع کے طریقہ کار کا استعمال کرتے ہوئے، ہم مربع غلطی کے فنکشن کو کم سے کم کر کے پیرامیٹرز \( m \) اور \( b \) کا تخمینہ تلاش کر سکتے ہیں:

\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]

\( S(m, b) \ کو کم کرنے کے لیے، ہم \( m \) اور \( b \) کے حوالے سے \( S \) کے جزوی مشتقات تلاش کرتے ہیں، اور پھر اس مساوات کو \( m \) اور \( b \) کے لیے حل کرتے ہیں:

\[ شروع کریں
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{مطابق} \]

آسان بنانے کے بعد، ہم درج ذیل دو عام مساواتیں حاصل کرتے ہیں:

\[ شروع کریں
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{مطابق} \]

مندرجہ بالا مساوات کے نظام کو حل کر کے، ہم \(m \) اور \( b \) کی قدریں تلاش کر سکتے ہیں جو مربع کی غلطی کو کم کرتے ہیں۔

ایک سے زیادہ لکیری رجعت

متعدد لکیری رجعت میں، ہمیں ایسی صورت حال کا سامنا کرنا پڑتا ہے جہاں ہمارے پاس ایک سے زیادہ آزاد متغیر ہوتے ہیں۔ فرض کریں کہ ہمارے پاس ٹیپل کی شکل میں ڈیٹا ہے \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\)۔ ریگریشن ماڈل جو ہم استعمال کرتے ہیں وہ ہے:

\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]

اس مساوات کو میٹرکس کی شکل میں اس طرح لکھا جا سکتا ہے:

\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]

کہاں:
- \( \mathbf{y} \) مشاہدہ کردہ y اقدار کا ایک کالم ویکٹر ہے۔
- \( \mathbf{X} \) مشاہدہ شدہ x اقدار کا میٹرکس ہے (بشمول کالم 1 انٹرسیپٹ کے لیے)۔
- \( \mathbf{b} \) پیرامیٹرز کا ایک کالم ویکٹر ہے (بشمول \( b_0 \))۔

کم از کم چوکوں کے طریقہ کار کا ہدف درج ذیل چوکور غلطی کے فنکشن کو کم سے کم کرنا ہے۔

\[ S(\mathbf{b}) = (\mathbf{y} - \mathbf{Xb})^T (\mathbf{y} - \mathbf{Xb}) \]

اس فنکشن کو کم کرنے کے لیے، ہم \( \mathbf{b} \) کے حوالے سے S کا جزوی مشتق لیتے ہیں اور اسے صفر پر سیٹ کرتے ہیں۔ اس سے متعدد لکیری رجعت کے لیے عام مساوات حاصل ہوتی ہے:

\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]

مندرجہ بالا مساوات کے نظام کو حل کر کے، ہم پیرامیٹر کا تخمینہ حاصل کر سکتے ہیں \( \mathbf{b} \):

\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]

فوائد اور حدود

کم سے کم مربع کے طریقہ کار کے بہت سے فوائد ہیں۔ یہ استعمال کرنے کا ایک بہت ہی موثر اور آسان طریقہ ہے۔ یہ ایک انوکھا حل پیش کرتا ہے اگر \( \mathbf{X}^T \mathbf{X} \) ناقابل تبدیل ہے، اسے بہت سے عملی ایپلی کیشنز کے لیے قابل اعتماد بناتا ہے۔

تاہم، کم از کم مربع کے طریقہ کار کی بھی حدود ہیں۔ یہ آؤٹ لیرز کے لیے بہت حساس ہے کیونکہ مربع کی غلطی چھوٹے سے زیادہ بڑے فرق پر زور دیتی ہے۔ مزید برآں، کلاسیکی مفروضہ کہ غلطیوں کی صفر اوسط اور مستقل تغیر کے ساتھ ایک عام تقسیم ہے اچھے نتائج کے لیے پورا ہونا ضروری ہے۔

عملی ایپلی کیشنز

کم از کم اسکوائر کا طریقہ اکثر ڈیٹا ٹرینڈ تجزیہ، پیشن گوئی، اور مشین لرننگ میں پیش گوئی کرنے والے ماڈلز بنانے کے لیے استعمال ہوتا ہے۔ مالیاتی صنعت میں، اسٹاک کی قیمتوں یا مارکیٹ کی کارکردگی کا اندازہ لگانے کے لیے کم از کم اسکوائر کا طریقہ استعمال کیا جاتا ہے۔ طب میں، یہ منشیات کی خوراک اور مریض کے ردعمل کے درمیان تعلق کو ماڈل کرنے کے لیے استعمال ہوتا ہے۔ سماجی علوم میں، یہ متغیرات جیسے تعلیم اور آمدنی کے درمیان تعلق کو سمجھنے میں مدد کرتا ہے۔

نتیجہ اخذ کرنا

کم از کم چوکوں کا طریقہ شماریات اور ڈیٹا کے تجزیہ کی بنیادی تکنیکوں میں سے ایک ہے۔ تصور میں سادہ ہونے کے باوجود، یہ طریقہ ماڈلنگ اور متغیر کے درمیان تعلقات کو سمجھنے میں اہم طاقت پیش کرتا ہے۔ شعبوں کی ایک وسیع رینج میں وسیع پیمانے پر ایپلی کیشنز کے ساتھ، اس طریقہ کار کی ٹھوس تفہیم پیشہ ور افراد اور محققین کے لیے یکساں طور پر انمول ہے۔ آگے بڑھتے ہوئے، بڑے ڈیٹا کے دور میں اعداد و شمار کے بڑھتے ہوئے حجم کے ساتھ، کلاسیکی طریقوں جیسے کہ کم از کم مربعوں کی موافقت اور اطلاق صرف تیزی سے متعلقہ ہو جائے گا۔