ਘੱਟੋ-ਘੱਟ ਵਰਗ ਵਿਧੀ

ਘੱਟੋ-ਘੱਟ ਵਰਗ ਵਿਧੀ: ਅਨੁਮਾਨ ਲਈ ਇੱਕ ਗਣਿਤਿਕ ਪਹੁੰਚ

ਪੇਂਡਹੁਲੁਆਨ

ਘੱਟੋ-ਘੱਟ ਵਰਗਾਂ ਦਾ ਤਰੀਕਾ ਇੱਕ ਅੰਕੜਾਤਮਕ ਤਕਨੀਕ ਹੈ ਜੋ ਇੱਕ ਰਿਗਰੈਸ਼ਨ ਮਾਡਲ ਵਿੱਚ ਪੈਰਾਮੀਟਰਾਂ ਦਾ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣ ਲਈ ਵਰਤੀ ਜਾਂਦੀ ਹੈ ਜੋ ਅਸਲ ਮੁੱਲਾਂ ਅਤੇ ਮਾਡਲ ਦੁਆਰਾ ਅਨੁਮਾਨਿਤ ਮੁੱਲਾਂ ਵਿਚਕਾਰ ਵਰਗ ਗਲਤੀਆਂ ਦੇ ਜੋੜ ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਕਰਦੀ ਹੈ। ਇਹ ਤਰੀਕਾ ਬਹੁਤ ਮਸ਼ਹੂਰ ਹੈ ਅਤੇ ਅਕਸਰ ਅਰਥ ਸ਼ਾਸਤਰ, ਇੰਜੀਨੀਅਰਿੰਗ, ਜੀਵ ਵਿਗਿਆਨ ਅਤੇ ਸਮਾਜਿਕ ਵਿਗਿਆਨ ਵਰਗੇ ਵੱਖ-ਵੱਖ ਖੇਤਰਾਂ ਵਿੱਚ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਘੱਟੋ-ਘੱਟ ਵਰਗਾਂ ਦਾ ਸੰਕਲਪ ਸਭ ਤੋਂ ਪਹਿਲਾਂ 19ਵੀਂ ਸਦੀ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਐਡਰਿਅਨ-ਮੈਰੀ ਲੈਜੇਂਡਰੇ ਦੁਆਰਾ ਪ੍ਰਸਤਾਵਿਤ ਕੀਤਾ ਗਿਆ ਸੀ ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਕਾਰਲ ਫ੍ਰੈਡਰਿਕ ਗੌਸ ਦੁਆਰਾ ਇਸਨੂੰ ਹੋਰ ਵਿਕਸਤ ਕੀਤਾ ਗਿਆ ਸੀ।

ਮੁੱਢਲੀ ਸਮਝ

ਆਮ ਤੌਰ 'ਤੇ, ਘੱਟੋ-ਘੱਟ ਵਰਗ ਵਿਧੀ ਦਾ ਉਦੇਸ਼ ਰਹਿੰਦ-ਖੂੰਹਦ ਦੇ ਵਰਗਾਂ ਦੇ ਜੋੜ, ਜਾਂ ਭਵਿੱਖਬਾਣੀ ਗਲਤੀਆਂ ਨੂੰ ਘਟਾ ਕੇ ਡੇਟਾ ਸੈੱਟ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ-ਫਿੱਟ ਰਿਗਰੈਸ਼ਨ ਲਾਈਨ ਲੱਭਣਾ ਹੈ। ਰਹਿੰਦ-ਖੂੰਹਦ ਦੇਖੇ ਗਏ ਮੁੱਲ ਅਤੇ ਅਨੁਮਾਨਿਤ ਮੁੱਲ ਵਿਚਕਾਰ ਅੰਤਰ ਹੈ।

ਜੇਕਰ ਸਾਡੇ ਕੋਲ ਇੱਕ ਡੇਟਾ ਸੈੱਟ ਹੈ ਜਿਸ ਵਿੱਚ ਨਿਰੀਖਣਾਂ ਦੇ ਜੋੜੇ \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\) ਹਨ, ਤਾਂ ਸਾਡਾ ਟੀਚਾ ਉਹ ਲਾਈਨ \(y = mx + b\) ਲੱਭਣਾ ਹੈ ਜੋ ਵਰਗ ਗਲਤੀਆਂ ਦੇ ਜੋੜ ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਕਰਦੀ ਹੈ sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).

ਇਹ ਵਿਧੀ ਸਧਾਰਨ ਲੀਨੀਅਰ ਰਿਗਰੈਸ਼ਨ ਅਤੇ ਮਲਟੀਪਲ ਲੀਨੀਅਰ ਰਿਗਰੈਸ਼ਨ ਦੋਵਾਂ 'ਤੇ ਲਾਗੂ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਸਧਾਰਨ ਲੀਨੀਅਰ ਰਿਗਰੈਸ਼ਨ ਵਿੱਚ, ਸਾਡੇ ਕੋਲ ਸਿਰਫ ਇੱਕ ਸੁਤੰਤਰ ਵੇਰੀਏਬਲ (x) ਹੁੰਦਾ ਹੈ, ਜਦੋਂ ਕਿ ਮਲਟੀਪਲ ਲੀਨੀਅਰ ਰਿਗਰੈਸ਼ਨ ਵਿੱਚ ਇੱਕ ਤੋਂ ਵੱਧ ਸੁਤੰਤਰ ਵੇਰੀਏਬਲ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ।

ਸਧਾਰਨ ਰੇਖਿਕ ਰਿਗਰੈਸ਼ਨ

ਆਓ ਸਧਾਰਨ ਰੇਖਿਕ ਰਿਗਰੈਸ਼ਨ ਨਾਲ ਸ਼ੁਰੂਆਤ ਕਰੀਏ। ਮੰਨ ਲਓ ਸਾਡੇ ਕੋਲ ਇੱਕ ਡੇਟਾ ਸੈੱਟ ਹੈ \((x_1, y_1), (x_2, y_2), …, (x_n, y_n))। ਅਸੀਂ ਜਿਸ ਸਧਾਰਨ ਰੇਖਿਕ ਰਿਗਰੈਸ਼ਨ ਮਾਡਲ ਨੂੰ ਫਿੱਟ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਾਂ ਉਹ ਹੈ:

\[ y = mx + b + \ਐਪਸੀਲੋਨ \]

ਜਿੱਥੇ \( m \) ਢਲਾਣ ਹੈ, \( b \) ਇੰਟਰਸੈਪਟ ਹੈ, ਅਤੇ \( \epsilon \) ਰੈਂਡਮ ਗਲਤੀ ਹੈ।

ਘੱਟੋ-ਘੱਟ ਵਰਗ ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਅਸੀਂ ਵਰਗ ਗਲਤੀ ਫੰਕਸ਼ਨ ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਕਰਕੇ ਪੈਰਾਮੀਟਰ \( m \) ਅਤੇ \( b \) ਦੇ ਅਨੁਮਾਨ ਲੱਭ ਸਕਦੇ ਹਾਂ:

\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]

\( S(m, b) \) ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਕਰਨ ਲਈ, ਅਸੀਂ \( m \) ਅਤੇ \( b \) ਦੇ ਸਬੰਧ ਵਿੱਚ \( S \) ਦੇ ਅੰਸ਼ਕ ਡੈਰੀਵੇਟਿਵ ਲੱਭਦੇ ਹਾਂ, ਅਤੇ ਫਿਰ \( m \) ਅਤੇ \( b \) ਲਈ ਇਸ ਸਮੀਕਰਨ ਨੂੰ ਹੱਲ ਕਰਦੇ ਹਾਂ:

\[ \ਸ਼ੁਰੂ{ਇਕਸਾਰ}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]

ਸਰਲੀਕਰਨ ਤੋਂ ਬਾਅਦ, ਸਾਨੂੰ ਹੇਠ ਲਿਖੇ ਦੋ ਆਮ ਸਮੀਕਰਨ ਪ੍ਰਾਪਤ ਹੁੰਦੇ ਹਨ:

\[ \ਸ਼ੁਰੂ{ਇਕਸਾਰ}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]

ਉਪਰੋਕਤ ਸਮੀਕਰਨਾਂ ਦੀ ਪ੍ਰਣਾਲੀ ਨੂੰ ਹੱਲ ਕਰਕੇ, ਅਸੀਂ \( m \) ਅਤੇ \( b \) ਦੇ ਮੁੱਲ ਲੱਭ ਸਕਦੇ ਹਾਂ ਜੋ ਵਰਗ ਗਲਤੀ ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਕਰਦੇ ਹਨ।

ਮਲਟੀਪਲ ਲੀਨੀਅਰ ਰਿਗਰੈਸ਼ਨ

ਮਲਟੀਪਲ ਲੀਨੀਅਰ ਰਿਗਰੈਸ਼ਨ ਵਿੱਚ, ਅਸੀਂ ਇੱਕ ਅਜਿਹੀ ਸਥਿਤੀ ਦਾ ਸਾਹਮਣਾ ਕਰਦੇ ਹਾਂ ਜਿੱਥੇ ਸਾਡੇ ਕੋਲ ਇੱਕ ਤੋਂ ਵੱਧ ਸੁਤੰਤਰ ਵੇਰੀਏਬਲ ਹੁੰਦੇ ਹਨ। ਮੰਨ ਲਓ ਸਾਡੇ ਕੋਲ ਇੱਕ ਟਿਊਪਲ \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\) ਦੇ ਰੂਪ ਵਿੱਚ ਡੇਟਾ ਹੈ। ਅਸੀਂ ਜੋ ਰਿਗਰੈਸ਼ਨ ਮਾਡਲ ਵਰਤਦੇ ਹਾਂ ਉਹ ਹੈ:

\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \ਐਪਸੀਲੋਨ \]

ਇਸ ਸਮੀਕਰਨ ਨੂੰ ਮੈਟ੍ਰਿਕਸ ਰੂਪ ਵਿੱਚ ਇਸ ਤਰ੍ਹਾਂ ਲਿਖਿਆ ਜਾ ਸਕਦਾ ਹੈ:

\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]

ਮਨ ਵਿੱਚ:
– \( \mathbf{y} \) ਦੇਖੇ ਗਏ y ਮੁੱਲਾਂ ਦਾ ਇੱਕ ਕਾਲਮ ਵੈਕਟਰ ਹੈ।
– \( \mathbf{X} \) ਦੇਖੇ ਗਏ x ਮੁੱਲਾਂ ਦਾ ਇੱਕ ਮੈਟ੍ਰਿਕਸ ਹੈ (ਇੰਟਰਸੈਪ ਲਈ ਕਾਲਮ 1 ਸਮੇਤ)।
– \( \mathbf{b} \) ਪੈਰਾਮੀਟਰਾਂ ਦਾ ਇੱਕ ਕਾਲਮ ਵੈਕਟਰ ਹੈ (\( b_0 \) ਸਮੇਤ)।

ਘੱਟੋ-ਘੱਟ ਵਰਗ ਵਿਧੀ ਦਾ ਟੀਚਾ ਹੇਠ ਲਿਖੇ ਚਤੁਰਭੁਜ ਗਲਤੀ ਫੰਕਸ਼ਨ ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਕਰਨਾ ਹੈ:

\[ S(\mathbf{b}) = (\mathbf{y} - \mathbf{Xb})^T (\mathbf{y} - \mathbf{Xb}) \]

ਇਸ ਫੰਕਸ਼ਨ ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਕਰਨ ਲਈ, ਅਸੀਂ \( \mathbf{b} \) ਦੇ ਸੰਬੰਧ ਵਿੱਚ S ਦਾ ਅੰਸ਼ਕ ਡੈਰੀਵੇਟਿਵ ਲੈਂਦੇ ਹਾਂ ਅਤੇ ਇਸਨੂੰ ਜ਼ੀਰੋ ਤੇ ਸੈੱਟ ਕਰਦੇ ਹਾਂ। ਇਹ ਮਲਟੀਪਲ ਲੀਨੀਅਰ ਰਿਗਰੈਸ਼ਨ ਲਈ ਆਮ ਸਮੀਕਰਨ ਪੈਦਾ ਕਰਦਾ ਹੈ:

\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]

ਉਪਰੋਕਤ ਸਮੀਕਰਨਾਂ ਦੀ ਪ੍ਰਣਾਲੀ ਨੂੰ ਹੱਲ ਕਰਕੇ, ਅਸੀਂ ਪੈਰਾਮੀਟਰ \( \mathbf{b} \) ਦਾ ਅਨੁਮਾਨ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹਾਂ:

\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]

ਕੇਉਂਟੁੰਗਨ ਅਤੇ ਕੇਟਰਬਾਟਾਸਨ

ਘੱਟੋ-ਘੱਟ ਵਰਗ ਵਿਧੀ ਦੇ ਬਹੁਤ ਸਾਰੇ ਫਾਇਦੇ ਹਨ। ਇਹ ਵਰਤਣ ਲਈ ਇੱਕ ਬਹੁਤ ਹੀ ਕੁਸ਼ਲ ਅਤੇ ਸਰਲ ਤਰੀਕਾ ਹੈ। ਇਹ ਇੱਕ ਵਿਲੱਖਣ ਹੱਲ ਪੇਸ਼ ਕਰਦਾ ਹੈ ਜੇਕਰ \( \mathbf{X}^T \mathbf{X} \) ਉਲਟਾਉਣ ਯੋਗ ਹੈ, ਇਸਨੂੰ ਬਹੁਤ ਸਾਰੇ ਵਿਹਾਰਕ ਉਪਯੋਗਾਂ ਲਈ ਭਰੋਸੇਯੋਗ ਬਣਾਉਂਦਾ ਹੈ।

ਹਾਲਾਂਕਿ, ਘੱਟੋ-ਘੱਟ ਵਰਗ ਵਿਧੀ ਦੀਆਂ ਵੀ ਸੀਮਾਵਾਂ ਹਨ। ਇਹ ਆਊਟਲੀਅਰਾਂ ਪ੍ਰਤੀ ਬਹੁਤ ਸੰਵੇਦਨਸ਼ੀਲ ਹੈ ਕਿਉਂਕਿ ਵਰਗ ਗਲਤੀ ਛੋਟੇ ਅੰਤਰਾਂ ਨਾਲੋਂ ਵੱਡੇ ਅੰਤਰਾਂ 'ਤੇ ਜ਼ਿਆਦਾ ਜ਼ੋਰ ਦਿੰਦੀ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਚੰਗੇ ਨਤੀਜਿਆਂ ਲਈ ਕਲਾਸੀਕਲ ਧਾਰਨਾ ਕਿ ਗਲਤੀਆਂ ਦਾ ਜ਼ੀਰੋ ਔਸਤ ਅਤੇ ਸਥਿਰ ਪਰਿਵਰਤਨ ਦੇ ਨਾਲ ਇੱਕ ਆਮ ਵੰਡ ਹੈ, ਨੂੰ ਪੂਰਾ ਕਰਨਾ ਲਾਜ਼ਮੀ ਹੈ।

ਵਿਹਾਰਕ ਉਪਯੋਗ

ਘੱਟੋ-ਘੱਟ ਵਰਗ ਵਿਧੀ ਅਕਸਰ ਡੇਟਾ ਰੁਝਾਨ ਵਿਸ਼ਲੇਸ਼ਣ, ਭਵਿੱਖਬਾਣੀ, ਅਤੇ ਭਵਿੱਖਬਾਣੀ ਮਾਡਲ ਬਣਾਉਣ ਲਈ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਵਿੱਚ ਵਰਤੀ ਜਾਂਦੀ ਹੈ। ਵਿੱਤੀ ਉਦਯੋਗ ਵਿੱਚ, ਘੱਟੋ-ਘੱਟ ਵਰਗ ਵਿਧੀ ਸਟਾਕ ਕੀਮਤਾਂ ਜਾਂ ਮਾਰਕੀਟ ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਲਈ ਵਰਤੀ ਜਾਂਦੀ ਹੈ। ਦਵਾਈ ਵਿੱਚ, ਇਸਦੀ ਵਰਤੋਂ ਦਵਾਈ ਦੀ ਖੁਰਾਕ ਅਤੇ ਮਰੀਜ਼ ਦੀ ਪ੍ਰਤੀਕਿਰਿਆ ਵਿਚਕਾਰ ਸਬੰਧ ਨੂੰ ਮਾਡਲ ਕਰਨ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਸਮਾਜਿਕ ਵਿਗਿਆਨ ਵਿੱਚ, ਇਹ ਸਿੱਖਿਆ ਅਤੇ ਆਮਦਨ ਵਰਗੇ ਵੇਰੀਏਬਲਾਂ ਵਿਚਕਾਰ ਸਬੰਧ ਨੂੰ ਸਮਝਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ।

ਸਿੱਟਾ

ਘੱਟੋ-ਘੱਟ ਵਰਗ ਵਿਧੀ ਅੰਕੜਿਆਂ ਅਤੇ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਵਿੱਚ ਬੁਨਿਆਦੀ ਤਕਨੀਕਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ। ਸੰਕਲਪ ਵਿੱਚ ਸਰਲ ਹੋਣ ਦੇ ਬਾਵਜੂਦ, ਇਹ ਵਿਧੀ ਵੇਰੀਏਬਲਾਂ ਵਿਚਕਾਰ ਸਬੰਧਾਂ ਨੂੰ ਮਾਡਲਿੰਗ ਅਤੇ ਸਮਝਣ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਸ਼ਕਤੀ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ। ਖੇਤਰਾਂ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਸ਼੍ਰੇਣੀ ਵਿੱਚ ਵਿਆਪਕ ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੇ ਨਾਲ, ਇਸ ਵਿਧੀ ਦੀ ਇੱਕ ਠੋਸ ਸਮਝ ਪੇਸ਼ੇਵਰਾਂ ਅਤੇ ਖੋਜਕਰਤਾਵਾਂ ਦੋਵਾਂ ਲਈ ਅਨਮੋਲ ਹੈ। ਅੱਗੇ ਵਧਦੇ ਹੋਏ, ਵੱਡੇ ਡੇਟਾ ਯੁੱਗ ਵਿੱਚ ਡੇਟਾ ਦੀ ਵਧਦੀ ਮਾਤਰਾ ਦੇ ਨਾਲ, ਘੱਟੋ-ਘੱਟ ਵਰਗ ਵਰਗੇ ਕਲਾਸੀਕਲ ਤਰੀਕਿਆਂ ਦਾ ਅਨੁਕੂਲਨ ਅਤੇ ਉਪਯੋਗ ਸਿਰਫ ਵਧਦੀ ਹੀ ਪ੍ਰਸੰਗਿਕ ਬਣ ਜਾਵੇਗਾ।