सबैभन्दा कम वर्ग विधि

न्यूनतम वर्ग विधि: अनुमानको लागि गणितीय दृष्टिकोण

पेन्डाहुलुआन

न्यूनतम वर्गहरूको विधि भनेको वास्तविक मानहरू र मोडेलद्वारा अनुमान गरिएका मानहरू बीचको वर्ग त्रुटिहरूको योगफललाई न्यूनतम गरेर रिग्रेसन मोडेलमा प्यारामिटरहरू अनुमान गर्न प्रयोग गरिने तथ्याङ्कीय प्रविधि हो। यो विधि धेरै लोकप्रिय छ र अर्थशास्त्र, इन्जिनियरिङ, जीवविज्ञान र सामाजिक विज्ञान जस्ता विभिन्न क्षेत्रहरूमा बारम्बार प्रयोग गरिन्छ। न्यूनतम वर्गहरूको अवधारणा पहिलो पटक १९ औं शताब्दीको सुरुमा एड्रियन-मारी लेजेन्ड्रे द्वारा प्रस्ताव गरिएको थियो र पछि कार्ल फ्रेडरिक गौस द्वारा थप विकास गरिएको थियो।

आधारभूत बुझाइ

सामान्यतया, न्यूनतम वर्ग विधिले अवशेषहरूको वर्गहरूको योगफल, वा भविष्यवाणी त्रुटिहरूलाई न्यूनतम गरेर डेटा सेटको लागि उत्तम-फिट प्रतिगमन रेखा फेला पार्ने लक्ष्य राख्छ। अवशेष भनेको अवलोकन गरिएको मान र भविष्यवाणी गरिएको मान बीचको भिन्नता हो।

यदि हामीसँग अवलोकनहरूको जोडी \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\) मिलेर बनेको डेटा सेट छ भने, हाम्रो लक्ष्य भनेको वर्ग त्रुटिहरूको योगफललाई न्यूनतम गर्ने रेखा \(y = mx + b\) फेला पार्नु हो। sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \)।

यो विधि साधारण रेखीय प्रतिगमन र बहु ​​रेखीय प्रतिगमन दुवैमा लागू गर्न सकिन्छ। साधारण रेखीय प्रतिगमनमा, हामीसँग केवल एउटा स्वतन्त्र चर (x) हुन्छ, जबकि बहु रेखीय प्रतिगमनमा एक भन्दा बढी स्वतन्त्र चरहरू समावेश हुन्छन्।

साधारण रेखीय प्रतिगमन

साधारण रेखीय प्रतिगमनबाट सुरु गरौं। मानौं हामीसँग एउटा डेटा सेट छ \((x_1, y_1), (x_2, y_2), …, (x_n, y_n))। हामीले फिट गर्न चाहेको साधारण रेखीय प्रतिगमन मोडेल यो हो:

\[ y = mx + b + \epsilon \]

जहाँ \( m \) ढलान हो, \( b \) अवरोध हो, र \( \epsilon \) अनियमित त्रुटि हो।

न्यूनतम वर्ग विधि प्रयोग गरेर, हामी वर्ग त्रुटि प्रकार्यलाई न्यूनतम गरेर प्यारामिटरहरू \( m \) र \( b \) को अनुमानहरू फेला पार्न सक्छौं:

\[ S(m, b) = \योग_{i=1}^{n} (y_i – (mx_i + b))^2 \]

\( S(m, b) \ लाई न्यूनतम गर्न, हामी \( m \) र \( b \) को सापेक्षमा \( S \) को आंशिक व्युत्पन्नहरू फेला पार्छौं, र त्यसपछि \( m \) र \( b \) को लागि यो समीकरण समाधान गर्छौं:

\[ \सुरु{पङ्क्तिबद्ध}
\frac{\आंशिक S}{\आंशिक m} &= -२ \योग_{i=1}^{n} x_i (y_i – (mx_i + b)) = ० \\
\frac{\आंशिक S}{\आंशिक b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = ०
\अन्त{पङ्क्तिबद्ध} \]

सरलीकरण पछि, हामी निम्न दुई सामान्य समीकरणहरू प्राप्त गर्छौं:

\[ \सुरु{पङ्क्तिबद्ध}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\योगफल_{i=1}^{n}x_i y_i &= m \योगफल_{i=1}^{n}x_i^2 + b \योगफल_{i=1}^{n}x_i
\अन्त{पङ्क्तिबद्ध} \]

माथिको समीकरण प्रणाली समाधान गरेर, हामी वर्ग त्रुटिलाई न्यूनतम गर्ने \( m \) र \( b \) को मानहरू फेला पार्न सक्छौं।

बहु रेखीय प्रतिगमन

बहु रेखीय प्रतिगमनमा, हामी यस्तो अवस्थाको सामना गर्छौं जहाँ हामीसँग एक भन्दा बढी स्वतन्त्र चरहरू हुन्छन्। मानौं हामीसँग टपल \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\) को रूपमा डेटा छ। हामीले प्रयोग गर्ने प्रतिगमन मोडेल यो हो:

\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \एप्सिलन \]

यो समीकरणलाई म्याट्रिक्स फारममा यसरी लेख्न सकिन्छ:

\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]

कहाँ:
– \( \mathbf{y} \) अवलोकन गरिएका y मानहरूको स्तम्भ भेक्टर हो।
– \( \mathbf{X} \) अवलोकन गरिएका x मानहरूको म्याट्रिक्स हो (अन्तरदृष्टिको लागि स्तम्भ १ सहित)।
– \( \mathbf{b} \) प्यारामिटरहरूको स्तम्भ भेक्टर हो (\( b_0 \) सहित)।

न्यूनतम वर्ग विधिको लक्ष्य निम्न द्विघात त्रुटि प्रकार्यलाई न्यूनतम गर्नु हो:

\[ S(\mathbf{b}) = (\mathbf{y} - \mathbf{Xb})^T (\mathbf{y} - \mathbf{Xb}) \]

यो प्रकार्यलाई न्यूनतम बनाउनको लागि, हामी \( \mathbf{b} \) को सापेक्षमा S को आंशिक व्युत्पन्न लिन्छौं र यसलाई शून्यमा सेट गर्छौं। यसले बहु रेखीय प्रतिगमनको लागि सामान्य समीकरण दिन्छ:

\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]

माथिको समीकरण प्रणाली समाधान गरेर, हामी प्यारामिटर \( \mathbf{b} \) को अनुमान प्राप्त गर्न सक्छौं:

\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^-1} \mathbf{X}^T \mathbf{y} \]

फाइदा र सीमाहरू

सबैभन्दा कम वर्ग विधिका धेरै फाइदाहरू छन्। यो प्रयोग गर्न धेरै कुशल र सरल विधि हो। यदि \( \mathbf{X}^T \mathbf{X} \) उल्टाउन सकिने छ भने यसले एक अद्वितीय समाधान प्रदान गर्दछ, जसले गर्दा धेरै व्यावहारिक अनुप्रयोगहरूको लागि यो भरपर्दो हुन्छ।

यद्यपि, न्यूनतम वर्ग विधिमा पनि सीमितताहरू छन्। यो आउटलियरहरूप्रति धेरै संवेदनशील छ किनभने वर्ग त्रुटिले साना भन्दा ठूला भिन्नताहरूलाई बढी जोड दिन्छ। यसबाहेक, राम्रो नतिजाको लागि त्रुटिहरूमा शून्य औसत र स्थिर भिन्नता भएको सामान्य वितरण हुन्छ भन्ने शास्त्रीय धारणा पूरा गर्नुपर्छ।

व्यावहारिक अनुप्रयोगहरू

भविष्यवाणी गर्ने मोडेलहरू निर्माण गर्न डेटा प्रवृत्ति विश्लेषण, पूर्वानुमान, र मेसिन लर्निङमा प्रायः न्यूनतम वर्ग विधि प्रयोग गरिन्छ। वित्तीय उद्योगमा, स्टक मूल्य वा बजार प्रदर्शनको भविष्यवाणी गर्न न्यूनतम वर्ग विधि प्रयोग गरिन्छ। चिकित्सामा, यो औषधिको खुराक र बिरामीको प्रतिक्रिया बीचको सम्बन्ध मोडेल गर्न प्रयोग गरिन्छ। सामाजिक विज्ञानमा, यसले शिक्षा र आय जस्ता चरहरू बीचको सम्बन्ध बुझ्न मद्दत गर्दछ।

केसिम्पुलन

न्यूनतम वर्ग विधि तथ्याङ्क र डेटा विश्लेषणमा आधारभूत प्रविधिहरू मध्ये एक हो। अवधारणामा सरल भए पनि, यो विधिले चरहरू बीचको सम्बन्धलाई मोडेलिङ र बुझ्नमा महत्त्वपूर्ण शक्ति प्रदान गर्दछ। क्षेत्रहरूको विस्तृत दायरामा व्यापक अनुप्रयोगहरूको साथ, यस विधिको ठोस बुझाइ पेशेवरहरू र अनुसन्धानकर्ताहरू दुवैको लागि अमूल्य छ। अगाडि बढ्दै जाँदा, ठूलो डेटा युगमा डेटाको बढ्दो मात्राको सामना गर्दै, न्यूनतम वर्ग जस्ता शास्त्रीय विधिहरूको अनुकूलन र प्रयोग बढ्दो रूपमा सान्दर्भिक हुनेछ।