किमान वर्ग पद्धत

किमान वर्ग पद्धत: अंदाजासाठी एक गणितीय दृष्टिकोन

पेंडाहुलुआन

किमान वर्ग पद्धत हे एक सांख्यिकीय तंत्र आहे, जे रिग्रेशन मॉडेलमधील पॅरामीटर्सचा अंदाज घेण्यासाठी वापरले जाते. यामध्ये वास्तविक मूल्ये आणि मॉडेलद्वारे अंदाजित केलेली मूल्ये यांच्यातील वर्ग त्रुटींची बेरीज कमीत कमी केली जाते. ही पद्धत खूप लोकप्रिय आहे आणि अर्थशास्त्र, अभियांत्रिकी, जीवशास्त्र आणि सामाजिक शास्त्रे यांसारख्या विविध क्षेत्रांमध्ये वारंवार वापरली जाते. किमान वर्गाची संकल्पना सर्वप्रथम १९व्या शतकाच्या सुरुवातीला ॲड्रियन-मेरी लेजेंड्रे यांनी मांडली आणि नंतर कार्ल फ्रेडरिक गॉस यांनी ती अधिक विकसित केली.

मूलभूत समज

सर्वसाधारणपणे, किमान वर्ग पद्धतीचा उद्देश अवशेषांच्या किंवा भाकित त्रुटींच्या वर्गांची बेरीज कमी करून डेटा सेटसाठी सर्वोत्तम जुळणारी रिग्रेशन रेषा शोधणे हा असतो. अवशेष म्हणजे निरीक्षण केलेले मूल्य आणि भाकित केलेले मूल्य यांमधील फरक होय.

जर आपल्याकडे \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\) या निरीक्षणांच्या जोड्यांचा डेटा सेट असेल, तर आपले ध्येय \(y = mx + b\) ही रेषा शोधणे आहे, जी वर्ग त्रुटींची बेरीज sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \) कमीत कमी करेल.

ही पद्धत साध्या रेषीय प्रतिगमन आणि बहुविध रेषीय प्रतिगमन या दोन्हींना लागू केली जाऊ शकते. साध्या रेषीय प्रतिगमनामध्ये, आपल्याकडे फक्त एक स्वतंत्र चल (x) असतो, तर बहुविध रेषीय प्रतिगमनामध्ये एकापेक्षा जास्त स्वतंत्र चल समाविष्ट असतात.

साधे रेषीय प्रतिगमन

चला साध्या रेषीय प्रतिगमनाने सुरुवात करूया. समजा आपल्याकडे \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)) हा डेटा सेट आहे. आपल्याला जे साधे रेषीय प्रतिगमन मॉडेल बसवायचे आहे ते खालीलप्रमाणे आहे:

\[ y = mx + b + \epsilon \]

येथे \( m \) हा उतार आहे, \( b \) हा इंटरसेप्ट आहे आणि \( \epsilon \) ही यादृच्छिक त्रुटी आहे.

किमान वर्ग पद्धतीचा वापर करून, वर्ग त्रुटी फल कमी करून आपण पॅरामीटर्स \( m \) आणि \( b \) यांचे अंदाज शोधू शकतो:

\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]

\( S(m, b) \) कमीत कमी करण्यासाठी, आपण \( S \) चे \( m \) आणि \( b \) च्या संदर्भात आंशिक अवकलज काढतो, आणि नंतर हे समीकरण \( m \) आणि \( b \) साठी सोडवतो:

\[ \begin{aligned}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]

सरलीकरणानंतर, आपल्याला खालील दोन सामान्य समीकरणे मिळतात:

\[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]

वरील समीकरण प्रणाली सोडवून, आपण वर्ग त्रुटी कमीत कमी करणारे \( m \) आणि \( b \) चे मूल्य शोधू शकतो.

बहुविध रेषीय प्रतिगमन

मल्टिपल लिनियर रिग्रेशनमध्ये, आपल्याला एकापेक्षा जास्त स्वतंत्र चल असलेल्या परिस्थितीचा सामना करावा लागतो. समजा आपल्याकडे \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\) या ट्यूपलच्या स्वरूपात डेटा आहे. आपण वापरत असलेले रिग्रेशन मॉडेल खालीलप्रमाणे आहे:

\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]

हे समीकरण मॅट्रिक्स स्वरूपात असे लिहिता येते:

\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]

di mana:
– \( \mathbf{y} \) हा निरीक्षण केलेल्या y मूल्यांचा स्तंभ सदिश आहे.
– \( \mathbf{X} \) हे निरीक्षण केलेल्या x मूल्यांचे मॅट्रिक्स आहे (इंटरसेप्टसाठी स्तंभ 1 समाविष्ट आहे).
– \( \mathbf{b} \) हा पॅरामीटर्सचा (\( b_0 \) सह) एक स्तंभ सदिश आहे.

किमान वर्ग पद्धतीचे उद्दिष्ट खालील वर्ग त्रुटी फलनाला कमीत कमी करणे आहे:

\[ S(\mathbf{b}) = (\mathbf{y} - \mathbf{Xb})^T (\mathbf{y} - \mathbf{Xb}) \]

या फलनाचे किमान मूल्य काढण्यासाठी, आपण S चा \( \mathbf{b} \) च्या संदर्भात आंशिक अवकलज घेतो आणि त्याचे मूल्य शून्य करतो. यातून बहुविध रेषीय प्रतिगमनासाठी सामान्य समीकरण मिळते:

\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]

वरील समीकरण प्रणाली सोडवून, आपण पॅरामीटर \( \mathbf{b} \) चा अंदाज मिळवू शकतो:

\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]

फायदे आणि मर्यादा

किमान वर्ग पद्धतीचे अनेक फायदे आहेत. ही वापरण्यास अत्यंत कार्यक्षम आणि सोपी पद्धत आहे. जर \( \mathbf{X}^T \mathbf{X} \) व्युत्क्रमणीय असेल, तर ही पद्धत एक अद्वितीय उकल देते, ज्यामुळे ती अनेक व्यावहारिक उपयोगांसाठी विश्वसनीय ठरते.

तथापि, किमान वर्ग पद्धतीलाही मर्यादा आहेत. ही पद्धत बाह्य मूल्यांप्रति (outliers) अत्यंत संवेदनशील आहे, कारण वर्ग त्रुटी लहान फरकांपेक्षा मोठ्या फरकांवर अधिक भर देते. शिवाय, चांगल्या परिणामांसाठी त्रुटींचे वितरण शून्य माध्य आणि स्थिर प्रसरणासह सामान्य वितरणाचे (normal distribution) असते, हे पारंपरिक गृहीतक पूर्ण होणे आवश्यक आहे.

व्यावहारिक अनुप्रयोग

डेटा ट्रेंड विश्लेषण, पूर्वानुमान आणि मशीन लर्निंगमध्ये भविष्यसूचक मॉडेल्स तयार करण्यासाठी लीस्ट स्क्वेअर्स पद्धतीचा वारंवार वापर केला जातो. वित्तीय क्षेत्रात, शेअरच्या किमती किंवा बाजाराच्या कामगिरीचा अंदाज घेण्यासाठी लीस्ट स्क्वेअर्स पद्धतीचा वापर केला जातो. वैद्यकशास्त्रामध्ये, औषधाची मात्रा आणि रुग्णाचा प्रतिसाद यांच्यातील संबंधाचे मॉडेल तयार करण्यासाठी याचा वापर केला जातो. सामाजिक शास्त्रांमध्ये, शिक्षण आणि उत्पन्न यांसारख्या घटकांमधील संबंध समजून घेण्यास ही पद्धत मदत करते.

निष्कर्ष

किमान वर्ग पद्धत ही सांख्यिकी आणि डेटा विश्लेषणातील एक मूलभूत तंत्र आहे. संकल्पनेत सोपी असली तरी, ही पद्धत चलांमधील संबंधांचे मॉडेलिंग आणि आकलन करण्यासाठी महत्त्वपूर्ण सामर्थ्य प्रदान करते. विविध क्षेत्रांमध्ये व्यापक उपयोग असल्यामुळे, या पद्धतीचे सखोल ज्ञान व्यावसायिक आणि संशोधक या दोघांसाठीही अमूल्य आहे. पुढे, बिग डेटा युगात आढळणाऱ्या डेटाच्या वाढत्या प्रमाणामुळे, किमान वर्ग पद्धतीसारख्या पारंपरिक पद्धतींचा अवलंब आणि वापर अधिकाधिक समर्पक ठरेल.