લઘુત્તમ ચોરસ પદ્ધતિ

ઓછામાં ઓછા ચોરસ પદ્ધતિ: અંદાજ માટે ગાણિતિક અભિગમ

પેન્ડાહુલુઆન

ઓછામાં ઓછા ચોરસની પદ્ધતિ એ એક આંકડાકીય તકનીક છે જેનો ઉપયોગ રીગ્રેશન મોડેલમાં પરિમાણોનો અંદાજ કાઢવા માટે થાય છે, જે વાસ્તવિક મૂલ્યો અને મોડેલ દ્વારા અનુમાનિત મૂલ્યો વચ્ચેના વર્ગ ભૂલોના સરવાળાને ઘટાડે છે. આ પદ્ધતિ ખૂબ જ લોકપ્રિય છે અને તેનો ઉપયોગ અર્થશાસ્ત્ર, એન્જિનિયરિંગ, જીવવિજ્ઞાન અને સામાજિક વિજ્ઞાન જેવા વિવિધ ક્ષેત્રોમાં વારંવાર થાય છે. ઓછામાં ઓછા ચોરસનો ખ્યાલ સૌપ્રથમ 19મી સદીની શરૂઆતમાં એડ્રિયન-મેરી લિજેન્ડ્રે દ્વારા પ્રસ્તાવિત કરવામાં આવ્યો હતો અને બાદમાં કાર્લ ફ્રેડરિક ગૌસ દ્વારા તેને વધુ વિકસાવવામાં આવ્યો હતો.

મૂળભૂત સમજણ

સામાન્ય રીતે, લઘુત્તમ ચોરસ પદ્ધતિનો ઉદ્દેશ્ય અવશેષોના વર્ગોના સરવાળા અથવા આગાહી ભૂલોને ઘટાડીને ડેટા સેટ માટે શ્રેષ્ઠ-ફિટ રીગ્રેશન રેખા શોધવાનો છે. અવશેષ એ અવલોકન કરેલ મૂલ્ય અને આગાહી કરેલ મૂલ્ય વચ્ચેનો તફાવત છે.

જો આપણી પાસે અવલોકનોની જોડી \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\) નો ડેટા સેટ હોય, તો આપણું લક્ષ્ય \(y = mx + b\) રેખા શોધવાનું છે જે વર્ગ ભૂલોના સરવાળાને ઘટાડે છે sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).

આ પદ્ધતિ સરળ રેખીય રીગ્રેસન અને બહુવિધ રેખીય રીગ્રેસન બંને પર લાગુ કરી શકાય છે. સરળ રેખીય રીગ્રેસનમાં, આપણી પાસે ફક્ત એક સ્વતંત્ર ચલ (x) હોય છે, જ્યારે બહુવિધ રેખીય રીગ્રેસનમાં એક કરતાં વધુ સ્વતંત્ર ચલનો સમાવેશ થાય છે.

સરળ રેખીય રીગ્રેસન

ચાલો સરળ રેખીય રીગ્રેશનથી શરૂઆત કરીએ. ધારો કે આપણી પાસે ડેટા સેટ \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)) છે. આપણે જે સરળ રેખીય રીગ્રેશન મોડેલ ફિટ કરવા માંગીએ છીએ તે છે:

\[ y = mx + b + \એપ્સીલોન \]

જ્યાં \( m \) એ ઢાળ છે, \( b \) એ અવરોધ છે, અને \( \epsilon \) એ રેન્ડમ ભૂલ છે.

લઘુત્તમ ચોરસ પદ્ધતિનો ઉપયોગ કરીને, આપણે ચોરસ ભૂલ કાર્યને ઘટાડીને પરિમાણો \( m \) અને \( b \) ના અંદાજ શોધી શકીએ છીએ:

\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]

\( S(m, b) \ ને ન્યૂનતમ કરવા માટે, આપણે \( m \) અને \( b \) ના સંદર્ભમાં \( S \) ના આંશિક ડેરિવેટિવ્ઝ શોધીએ છીએ, અને પછી \( m \) અને \( b \) માટે આ સમીકરણ ઉકેલીએ છીએ:

\[ \begin{સંરેખિત}
\frac{\આંશિક S}{\આંશિક m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\આંશિક S}{\આંશિક b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{સંરેખિત} \]

સરળીકરણ પછી, આપણને નીચેના બે સામાન્ય સમીકરણો મળે છે:

\[ \begin{સંરેખિત}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{સંરેખિત} \]

ઉપરોક્ત સમીકરણોની સિસ્ટમ ઉકેલીને, આપણે \( m \) અને \( b \) ના મૂલ્યો શોધી શકીએ છીએ જે વર્ગ ભૂલને ઘટાડે છે.

બહુવિધ રેખીય રીગ્રેસન

બહુવિધ રેખીય રીગ્રેશનમાં, આપણે એવી પરિસ્થિતિનો સામનો કરીએ છીએ જ્યાં આપણી પાસે એક કરતાં વધુ સ્વતંત્ર ચલ હોય છે. ધારો કે આપણી પાસે ટ્યુપલ \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\) ના રૂપમાં ડેટા છે. આપણે જે રીગ્રેશન મોડેલનો ઉપયોગ કરીએ છીએ તે છે:

\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \એપ્સીલોન \]

આ સમીકરણ મેટ્રિક્સ સ્વરૂપમાં આ રીતે લખી શકાય છે:

\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]

ક્યાં:
– \( \mathbf{y} \) એ અવલોકન કરેલ y મૂલ્યોનો સ્તંભ વેક્ટર છે.
– \( \mathbf{X} \) એ અવલોકન કરેલ x મૂલ્યોનો મેટ્રિક્સ છે (ઇન્ટરસેપ્ટ માટે કૉલમ 1 સહિત).
– \( \mathbf{b} \) એ પરિમાણોનો એક સ્તંભ વેક્ટર છે (\( b_0 \) સહિત).

લઘુત્તમ ચોરસ પદ્ધતિનો ધ્યેય નીચેના વર્ગાત્મક ભૂલ કાર્યને ઘટાડવાનો છે:

\[ S(\mathbf{b}) = (\mathbf{y} - \mathbf{Xb})^T (\mathbf{y} - \mathbf{Xb}) \]

આ ફંક્શનને ઓછું કરવા માટે, આપણે \( \mathbf{b} \) ના સંદર્ભમાં S નું આંશિક વ્યુત્પન્ન લઈએ છીએ અને તેને શૂન્ય પર સેટ કરીએ છીએ. આ બહુવિધ રેખીય રીગ્રેસન માટે સામાન્ય સમીકરણ આપે છે:

\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]

ઉપરોક્ત સમીકરણોની સિસ્ટમ ઉકેલીને, આપણે પરિમાણ \( \mathbf{b} \) નો અંદાજ મેળવી શકીએ છીએ:

\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^-1} \mathbf{X}^T \mathbf{y} \]

ફાયદા અને મર્યાદાઓ

ઓછામાં ઓછા ચોરસ પદ્ધતિના ઘણા ફાયદા છે. તે વાપરવા માટે ખૂબ જ કાર્યક્ષમ અને સરળ પદ્ધતિ છે. જો \( \mathbf{X}^T \mathbf{X} \) ઉલટાવી શકાય તેવું હોય તો તે એક અનોખો ઉકેલ આપે છે, જે તેને ઘણા વ્યવહારુ ઉપયોગો માટે વિશ્વસનીય બનાવે છે.

જોકે, લઘુત્તમ ચોરસ પદ્ધતિમાં પણ મર્યાદાઓ હોય છે. તે આઉટલાયર પ્રત્યે ખૂબ જ સંવેદનશીલ છે કારણ કે ચોરસ ભૂલ નાના તફાવતો કરતાં મોટા તફાવતો પર વધુ ભાર મૂકે છે. વધુમાં, સારા પરિણામો માટે ભૂલોનું શૂન્ય સરેરાશ અને સતત ભિન્નતા સાથે સામાન્ય વિતરણ હોય તેવી શાસ્ત્રીય ધારણાને પૂર્ણ કરવી આવશ્યક છે.

વ્યવહારુ ઉપયોગો

ડેટા ટ્રેન્ડ વિશ્લેષણ, આગાહી અને મશીન લર્નિંગમાં આગાહી મોડેલ બનાવવા માટે ઓછામાં ઓછા ચોરસ પદ્ધતિનો વારંવાર ઉપયોગ થાય છે. નાણાકીય ઉદ્યોગમાં, ઓછામાં ઓછા ચોરસ પદ્ધતિનો ઉપયોગ શેરના ભાવ અથવા બજારના પ્રદર્શનની આગાહી કરવા માટે થાય છે. દવામાં, તેનો ઉપયોગ દવાના ડોઝ અને દર્દીના પ્રતિભાવ વચ્ચેના સંબંધને મોડેલ કરવા માટે થાય છે. સામાજિક વિજ્ઞાનમાં, તે શિક્ષણ અને આવક જેવા ચલો વચ્ચેના સંબંધને સમજવામાં મદદ કરે છે.

કેસિમ્પુલન

ઓછામાં ઓછા ચોરસ પદ્ધતિ આંકડાશાસ્ત્ર અને ડેટા વિશ્લેષણમાં મૂળભૂત તકનીકોમાંની એક છે. ખ્યાલમાં સરળ હોવા છતાં, આ પદ્ધતિ ચલો વચ્ચેના સંબંધોને મોડેલિંગ અને સમજવામાં નોંધપાત્ર શક્તિ પ્રદાન કરે છે. વિવિધ ક્ષેત્રોમાં વ્યાપક એપ્લિકેશનો સાથે, આ પદ્ધતિની નક્કર સમજ વ્યાવસાયિકો અને સંશોધકો બંને માટે અમૂલ્ય છે. આગળ વધતાં, મોટા ડેટા યુગમાં ડેટાના વધતા જથ્થા સાથે, ઓછામાં ઓછા ચોરસ જેવી શાસ્ત્રીય પદ્ધતિઓનું અનુકૂલન અને ઉપયોગ ફક્ત વધુને વધુ સુસંગત બનશે.