ਘੱਟੋ-ਘੱਟ ਵਰਗ ਵਿਧੀ

ਘੱਟੋ-ਘੱਟ ਵਰਗ ਵਿਧੀ: ਇੱਕ ਵਿਆਪਕ ਵਿਸ਼ਲੇਸ਼ਣ

ਘੱਟੋ-ਘੱਟ ਵਰਗ ਵਿਧੀ ਅੰਕੜਾਤਮਕ ਰਿਗਰੈਸ਼ਨ ਵਿਸ਼ਲੇਸ਼ਣ ਵਿੱਚ ਸਭ ਤੋਂ ਬੁਨਿਆਦੀ ਤਕਨੀਕਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ, ਜੋ ਡੇਟਾ ਫਿਟਿੰਗ, ਮਾਡਲਿੰਗ ਅਤੇ ਭਵਿੱਖਬਾਣੀ ਵਿਸ਼ਲੇਸ਼ਣ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਭੂਮਿਕਾ ਨਿਭਾਉਂਦੀ ਹੈ। ਇਹ ਇੱਕ ਗਣਿਤਿਕ ਪਹੁੰਚ ਹੈ ਜੋ ਨਿਰੀਖਣ ਕੀਤੇ ਅਤੇ ਅਨੁਮਾਨਿਤ ਮੁੱਲਾਂ ਵਿਚਕਾਰ ਅੰਤਰ ਦੇ ਵਰਗਾਂ ਦੇ ਜੋੜ ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਕਰਦੀ ਹੈ। ਅਜਿਹਾ ਕਰਕੇ, ਇਹ ਡੇਟਾ ਬਿੰਦੂਆਂ ਦੇ ਦਿੱਤੇ ਗਏ ਸਮੂਹ ਨੂੰ ਸਭ ਤੋਂ ਵਧੀਆ-ਫਿਟਿੰਗ ਲਾਈਨ ਜਾਂ ਵਕਰ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਇਸ ਲੇਖ ਵਿੱਚ, ਅਸੀਂ ਘੱਟੋ-ਘੱਟ ਵਰਗ ਵਿਧੀ ਦੀਆਂ ਬੁਨਿਆਦਾਂ, ਐਪਲੀਕੇਸ਼ਨਾਂ, ਵਿਉਤਪੱਤੀਆਂ ਅਤੇ ਸੀਮਾਵਾਂ ਦੀ ਪੜਚੋਲ ਕਰਾਂਗੇ।

ਇਤਿਹਾਸਕ ਪਿਛੋਕੜ

ਲੀਸਟ ਸਕੁਏਅਰਸ ਵਿਧੀ ਪਹਿਲੀ ਵਾਰ ਕਾਰਲ ਫ੍ਰੈਡਰਿਕ ਗੌਸ ਦੁਆਰਾ 1795 ਵਿੱਚ 18 ਸਾਲ ਦੀ ਉਮਰ ਵਿੱਚ ਪੇਸ਼ ਕੀਤੀ ਗਈ ਸੀ, ਹਾਲਾਂਕਿ ਇਹ 1809 ਤੱਕ ਪ੍ਰਕਾਸ਼ਿਤ ਨਹੀਂ ਹੋਈ ਸੀ। ਇੱਕ ਹੋਰ ਪ੍ਰਮੁੱਖ ਗਣਿਤ-ਸ਼ਾਸਤਰੀ, ਐਡਰਿਅਨ-ਮੈਰੀ ਲੈਜੇਂਡਰੇ ਨੇ ਸੁਤੰਤਰ ਤੌਰ 'ਤੇ 1805 ਵਿੱਚ ਇੱਕ ਸਮਾਨ ਵਿਧੀ ਵਿਕਸਤ ਅਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੀ। ਇਸ ਦੇ ਬਾਵਜੂਦ, ਗੌਸ ਦੇ ਨੋਟੇਸ਼ਨ ਅਤੇ ਵਿਧੀ ਦੇ ਵਿਸਥਾਰ ਨੇ ਆਧੁਨਿਕ ਵਰਤੋਂ ਦੀ ਨੀਂਹ ਰੱਖੀ।

ਗਣਿਤਿਕ ਫਾਊਂਡੇਸ਼ਨ

ਇਸਦੇ ਸਭ ਤੋਂ ਸਰਲ ਰੂਪ ਵਿੱਚ, Least Squares ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਇੱਕ ਰੇਖਿਕ ਮਾਡਲ ਨੂੰ ਡੇਟਾ ਬਿੰਦੂਆਂ ਦੇ ਸਮੂਹ ਵਿੱਚ ਫਿੱਟ ਕਰਨ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। `n` ਡੇਟਾ ਬਿੰਦੂਆਂ \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\ ਦੇ ਸਮੂਹ ਨੂੰ ਦੇਖਦੇ ਹੋਏ, ਟੀਚਾ ਇੱਕ ਲਾਈਨ \(y = mx + c\) ਲੱਭਣਾ ਹੈ ਜੋ ਦੇਖੇ ਗਏ ਮੁੱਲ \(y_i\) ਅਤੇ ਲਾਈਨ \(\hat{y}_i\) ਦੁਆਰਾ ਅਨੁਮਾਨਿਤ ਮੁੱਲਾਂ ਦੇ ਵਿਚਕਾਰ ਲੰਬਕਾਰੀ ਦੂਰੀਆਂ (ਅਵਸ਼ੇਸ਼ਾਂ) ਦੇ ਵਰਗਾਂ ਦੇ ਜੋੜ ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਕਰਦੀ ਹੈ।

ਗਣਿਤਿਕ ਤੌਰ 'ਤੇ, ਇਸ ਉਦੇਸ਼ ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਦਰਸਾਇਆ ਜਾ ਸਕਦਾ ਹੈ:

\[ S = \sum_{i=1}^{n} (y_i – \hat{y}_i)^2 = \sum_{i=1}^{n} (y_i – (mx_i + c))^2 \]

ਇਹ ਸਮੀਕਰਨ ਬਾਕੀ ਬਚੇ ਹਿੱਸਿਆਂ, \(S\) ਦੇ ਵਰਗਾਂ ਦੇ ਜੋੜ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ, ਅਤੇ ਸਾਡਾ ਟੀਚਾ \(m\) (ਢਲਾਨ) ਅਤੇ \(c\) (ਇੰਟਰਸੈਪਟ) ਦੇ ਮੁੱਲ ਲੱਭਣਾ ਹੈ ਜੋ \(S\) ਨੂੰ ਘੱਟੋ-ਘੱਟ ਕਰਦੇ ਹਨ।

ਡੈਰੀਵੇਸ਼ਨ

\(m\) ਅਤੇ \(c\) ਦੇ ਮੁੱਲ ਲੱਭਣ ਲਈ ਜੋ ਵਰਗ \(S\) ਦੇ ਜੋੜ ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਕਰਦੇ ਹਨ, ਅਸੀਂ \(m\) ਅਤੇ \(c\) ਦੇ ਸਬੰਧ ਵਿੱਚ \(S\) ਦੇ ਅੰਸ਼ਕ ਡੈਰੀਵੇਟਿਵ ਲੈਂਦੇ ਹਾਂ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਜ਼ੀਰੋ 'ਤੇ ਸੈੱਟ ਕਰਦੇ ਹਾਂ।

1. \(m\) ਦੇ ਸੰਬੰਧ ਵਿੱਚ ਅੰਸ਼ਕ ਡੈਰੀਵੇਟਿਵ:

\[ \frac{\ਅੰਸ਼ਕ S}{\ਅੰਸ਼ਕ m} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-x_i) = 0 \]

2. \(c\) ਦੇ ਸੰਬੰਧ ਵਿੱਚ ਅੰਸ਼ਕ ਡੈਰੀਵੇਟਿਵ:

\[ \frac{\ਅੰਸ਼ਕ S}{\ਅੰਸ਼ਕ c} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-1) = 0 \]

ਇਹਨਾਂ ਸਮਕਾਲੀ ਸਮੀਕਰਨਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਨਾਲ ਆਮ ਸਮੀਕਰਨਾਂ ਮਿਲਦੀਆਂ ਹਨ:

\[ m = \frac{n(\sum x_i y_i) – (\sum x_i)(\sum y_i)}{n (\sum x_i^2) – (\sum x_i)^2} \]

\[ c = \frac{(\sum y_i)(\sum x_i^2) – (\sum x_i)(\sum x_i y_i)}{n(\sum x_i^2) – (\sum x_i)^2} \]

ਇਹ ਸਮੀਕਰਨ ਸਾਨੂੰ \(m\) ਅਤੇ \(c\) ਦੇ ਮੁੱਲ ਦਿੰਦੇ ਹਨ ਜੋ ਵਰਗ ਰਹਿੰਦ-ਖੂੰਹਦ ਦੇ ਜੋੜ ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਕਰਦੇ ਹਨ।

ਐਪਲੀਕੇਸ਼ਨ

Least Squares ਵਿਧੀ ਦੇ ਵੱਖ-ਵੱਖ ਖੇਤਰਾਂ ਵਿੱਚ ਵਿਆਪਕ ਉਪਯੋਗ ਹਨ:

1. ਅਰਥ ਸ਼ਾਸਤਰ ਅਤੇ ਵਿੱਤ: GDP, ਮਹਿੰਗਾਈ ਦਰਾਂ, ਅਤੇ ਸਟਾਕ ਕੀਮਤਾਂ ਵਰਗੇ ਆਰਥਿਕ ਸੂਚਕਾਂ ਨੂੰ ਮਾਡਲ ਬਣਾਉਣ ਅਤੇ ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ।

2. ਇੰਜੀਨੀਅਰਿੰਗ: ਸਿਗਨਲ ਪ੍ਰੋਸੈਸਿੰਗ, ਕੰਟਰੋਲ ਸਿਸਟਮ, ਅਤੇ ਭਰੋਸੇਯੋਗਤਾ ਟੈਸਟਿੰਗ ਵਿੱਚ ਲਾਗੂ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਤਾਂ ਜੋ ਮਾਡਲਾਂ ਨੂੰ ਅਨੁਭਵੀ ਡੇਟਾ ਵਿੱਚ ਫਿੱਟ ਕੀਤਾ ਜਾ ਸਕੇ।

3. ਦਵਾਈ: ਪ੍ਰਯੋਗਾਤਮਕ ਡੇਟਾ ਵਿੱਚ ਵਿਕਾਸ ਵਕਰਾਂ, ਖੁਰਾਕ-ਪ੍ਰਤੀਕਿਰਿਆ ਵਕਰਾਂ, ਅਤੇ ਹੋਰ ਜੈਵਿਕ ਪ੍ਰਕਿਰਿਆਵਾਂ ਨੂੰ ਫਿੱਟ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ।

4. ਮਸ਼ੀਨ ਲਰਨਿੰਗ: ਲੀਨੀਅਰ ਰਿਗਰੈਸ਼ਨ ਮਾਡਲ, ਜੋ ਅਕਸਰ ਪੈਰਾਮੀਟਰ ਅਨੁਮਾਨ ਲਈ ਘੱਟੋ-ਘੱਟ ਵਰਗ ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ, ਨਿਗਰਾਨੀ ਅਧੀਨ ਸਿਖਲਾਈ ਤਕਨੀਕਾਂ ਵਿੱਚ ਬੁਨਿਆਦੀ ਹਨ।

5. ਖਗੋਲ ਵਿਗਿਆਨ: ਇਤਿਹਾਸਕ ਤੌਰ 'ਤੇ ਗੌਸ ਦੁਆਰਾ ਆਕਾਸ਼ੀ ਪਿੰਡਾਂ ਦੇ ਚੱਕਰਾਂ ਦੀ ਗਣਨਾ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਸੀ।

ਭਿੰਨਤਾਵਾਂ ਅਤੇ ਐਕਸਟੈਂਸ਼ਨਾਂ

1. ਭਾਰ ਵਾਲੇ ਘੱਟੋ-ਘੱਟ ਵਰਗ: ਉਹਨਾਂ ਮਾਮਲਿਆਂ ਵਿੱਚ ਜਿੱਥੇ ਨਿਰੀਖਣਾਂ ਵਿੱਚ ਵੱਖ-ਵੱਖ ਭਿੰਨਤਾਵਾਂ ਹੁੰਦੀਆਂ ਹਨ, ਭਾਰ ਵਾਲੇ ਘੱਟੋ-ਘੱਟ ਵਰਗ ਹਰੇਕ ਡੇਟਾ ਬਿੰਦੂ ਨੂੰ ਭਾਰ ਨਿਰਧਾਰਤ ਕਰਦੇ ਹਨ, ਵਰਗਾਂ ਦੇ ਇੱਕ ਭਾਰ ਵਾਲੇ ਜੋੜ ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਕਰਦੇ ਹੋਏ।

2. ਗੈਰ-ਲੀਨੀਅਰ ਘੱਟੋ-ਘੱਟ ਵਰਗ: ਗੈਰ-ਲੀਨੀਅਰ ਮਾਡਲਾਂ ਨੂੰ ਫਿੱਟ ਕਰਨ ਲਈ ਵਿਧੀ ਨੂੰ ਵਧਾਉਂਦਾ ਹੈ, ਅਕਸਰ ਗੌਸ-ਨਿਊਟਨ ਜਾਂ ਲੇਵਨਬਰਗ-ਮਾਰਕੁਆਰਡਟ ਐਲਗੋਰਿਦਮ ਵਰਗੀਆਂ ਦੁਹਰਾਉਣ ਵਾਲੀਆਂ ਤਕਨੀਕਾਂ ਰਾਹੀਂ।

3. ਰੈਗੂਲਰਾਈਜ਼ਡ ਲੀਸਟ ਸਕੁਏਅਰ (ਰਿਜ ਰਿਗਰੈਸ਼ਨ): ਓਵਰਫਿਟਿੰਗ ਨੂੰ ਰੋਕਣ ਲਈ ਵਰਗਾਂ ਦੇ ਜੋੜ ਵਿੱਚ ਇੱਕ ਪੈਨਲਟੀ ਸ਼ਬਦ ਜੋੜਦਾ ਹੈ, ਖਾਸ ਤੌਰ 'ਤੇ ਮਲਟੀਕੋਲੀਨੀਅਰਿਟੀ ਨਾਲ ਨਜਿੱਠਣ ਵੇਲੇ ਲਾਭਦਾਇਕ।

4. ਜਨਰਲਾਈਜ਼ਡ ਲੀਸਟ ਵਰਗ: ਸਹਿਸਬੰਧਿਤ ਨਿਰੀਖਣਾਂ ਲਈ ਖਾਤੇ, ਆਟੋਕੋਰਿਲੇਟਡ ਅਤੇ ਹੇਟਰੋਸੈਡੇਸਟਿਕ ਗਲਤੀਆਂ ਨੂੰ ਸੰਭਾਲਣ ਲਈ ਘੱਟੋ ਘੱਟ ਵਰਗ ਵਿਧੀ ਨੂੰ ਵਧਾਉਂਦੇ ਹੋਏ।

ਕੰਪਿutਟੇਸ਼ਨਲ ਟੂਲ

ਕਈ ਸਾਫਟਵੇਅਰ ਟੂਲ ਅਤੇ ਪ੍ਰੋਗਰਾਮਿੰਗ ਵਾਤਾਵਰਣ ਘੱਟੋ-ਘੱਟ ਵਰਗ ਰਿਗਰੈਸ਼ਨ ਕਰਨ ਲਈ ਬਿਲਟ-ਇਨ ਫੰਕਸ਼ਨ ਪੇਸ਼ ਕਰਦੇ ਹਨ:

1. ਪਾਈਥਨ: NumPy ਅਤੇ SciPy ਵਰਗੀਆਂ ਲਾਇਬ੍ਰੇਰੀਆਂ ਕ੍ਰਮਵਾਰ ਲੀਨੀਅਰ ਅਤੇ ਗੈਰ-ਲੀਨੀਅਰ ਘੱਟੋ-ਘੱਟ ਵਰਗ ਫਿਟਿੰਗ ਲਈ `numpy.linalg.lstsq` ਅਤੇ `scipy.optimize.curve_fit` ਫੰਕਸ਼ਨ ਪ੍ਰਦਾਨ ਕਰਦੀਆਂ ਹਨ।

2. R: R ਦੇ ਵਿਆਪਕ ਅੰਕੜਾ ਵਾਤਾਵਰਣ ਵਿੱਚ ਲੀਨੀਅਰ ਮਾਡਲਾਂ ਲਈ `lm()` ਅਤੇ ਗੈਰ-ਲੀਨੀਅਰ ਮਾਡਲਾਂ ਲਈ `nls()` ਵਰਗੇ ਫੰਕਸ਼ਨ।

3. MATLAB: MATLAB ਵਿੱਚ ਫੰਕਸ਼ਨ `lsqcurvefit` ਗੈਰ-ਲੀਨੀਅਰ ਫਿਟਿੰਗ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਲੀਨੀਅਰ ਅਲਜਬਰਾ ਓਪਰੇਸ਼ਨਾਂ ਲਈ ਬਿਲਟ-ਇਨ ਸਹਾਇਤਾ ਹੁੰਦੀ ਹੈ।

ਇਸਤੇਮਾਲ

ਇਸਦੀ ਵਿਆਪਕ ਵਰਤੋਂਯੋਗਤਾ ਦੇ ਬਾਵਜੂਦ, Least Squares ਵਿਧੀ ਦੀਆਂ ਸੀਮਾਵਾਂ ਹਨ:

1. ਆਊਟਲੀਅਰਜ਼ ਪ੍ਰਤੀ ਸੰਵੇਦਨਸ਼ੀਲਤਾ: Least Squares ਆਊਟਲੀਅਰਜ਼ ਪ੍ਰਤੀ ਬਹੁਤ ਜ਼ਿਆਦਾ ਸੰਵੇਦਨਸ਼ੀਲ ਹੁੰਦਾ ਹੈ, ਕਿਉਂਕਿ ਵਰਗ ਸ਼ਬਦ ਵੱਡੇ ਅਵਸ਼ੇਸ਼ਾਂ ਦੇ ਪ੍ਰਭਾਵ ਨੂੰ ਵਧਾਉਂਦਾ ਹੈ।

2. ਰੇਖਿਕਤਾ ਦੀ ਧਾਰਨਾ: ਵੇਰੀਏਬਲਾਂ ਵਿਚਕਾਰ ਇੱਕ ਰੇਖਿਕ ਸਬੰਧ ਮੰਨਦਾ ਹੈ, ਜੋ ਕਿ ਗੁੰਝਲਦਾਰ ਡੇਟਾਸੈਟਾਂ ਲਈ ਸਹੀ ਨਹੀਂ ਹੋ ਸਕਦਾ।

3. ਬਹੁ-ਸਮਾਜਿਕਤਾ ਮੁੱਦੇ: ਮਲਟੀਪਲ ਰੇਖਿਕ ਰਿਗਰੈਸ਼ਨ ਵਿੱਚ, ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਵਾਲੇ ਵੇਰੀਏਬਲਾਂ ਵਿਚਕਾਰ ਬਹੁ-ਸਮਾਜਿਕਤਾ ਗੁਣਾਂਕ ਦੇ ਅਨੁਮਾਨ ਨੂੰ ਵਿਗਾੜ ਸਕਦੀ ਹੈ।

4. ਭਿੰਨਤਾ ਦੀ ਸਮਰੂਪਤਾ (ਹੋਮੋਸੇਡੇਸਟੀਸਿਟੀ): ਇਹ ਮੰਨਦਾ ਹੈ ਕਿ ਗਲਤੀ ਸ਼ਬਦਾਂ ਦਾ ਭਿੰਨਤਾ ਨਿਰੀਖਣਾਂ ਵਿੱਚ ਸਥਿਰ ਹੈ, ਜੋ ਕਿ ਹਮੇਸ਼ਾ ਅਜਿਹਾ ਨਹੀਂ ਹੋ ਸਕਦਾ।

ਸਿੱਟਾ

ਲੀਸਟ ਸਕੁਏਅਰਸ ਵਿਧੀ, ਆਪਣੀ ਉਮਰ ਦੇ ਬਾਵਜੂਦ, ਅੰਕੜਾ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਅਤੇ ਮਾਡਲਿੰਗ ਵਿੱਚ ਇੱਕ ਅਧਾਰ ਬਣੀ ਹੋਈ ਹੈ। ਇਸਦੀ ਸਰਲਤਾ, ਪ੍ਰਭਾਵਸ਼ੀਲਤਾ, ਅਤੇ ਵੱਖ-ਵੱਖ ਰੂਪਾਂ ਲਈ ਅਨੁਕੂਲਤਾ, ਬੁਨਿਆਦੀ ਲੀਨੀਅਰ ਰਿਗਰੈਸ਼ਨ ਤੋਂ ਲੈ ਕੇ ਗੁੰਝਲਦਾਰ ਗੈਰ-ਲੀਨੀਅਰ ਅਤੇ ਆਮ ਮਾਡਲਾਂ ਤੱਕ, ਇਸਨੂੰ ਅਨਮੋਲ ਬਣਾਉਂਦੀ ਹੈ। ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਵਿੱਚ ਸ਼ਾਮਲ ਕਿਸੇ ਵੀ ਵਿਅਕਤੀ ਲਈ ਇਸਦੇ ਗਣਿਤਿਕ ਬੁਨਿਆਦ, ਉਪਯੋਗਾਂ ਅਤੇ ਸੀਮਾਵਾਂ ਨੂੰ ਸਮਝਣਾ ਜ਼ਰੂਰੀ ਹੈ, ਇਹ ਯਕੀਨੀ ਬਣਾਉਣਾ ਕਿ ਅਰਥਪੂਰਨ ਸੂਝ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਵਿਧੀ ਨੂੰ ਢੁਕਵੇਂ ਢੰਗ ਨਾਲ ਲਾਗੂ ਕੀਤਾ ਗਿਆ ਹੈ। ਭਾਵੇਂ ਅਕਾਦਮਿਕ ਖੇਤਰ ਵਿੱਚ ਹੋਵੇ ਜਾਂ ਉਦਯੋਗ ਵਿੱਚ, ਲੀਸਟ ਸਕੁਏਅਰਸ ਵਿਧੀ ਡੇਟਾ ਦੇ ਅੰਦਰ ਸਬੰਧਾਂ ਨੂੰ ਸਮਝਣ ਅਤੇ ਸੂਚਿਤ ਭਵਿੱਖਬਾਣੀਆਂ ਕਰਨ ਲਈ ਇੱਕ ਮਜ਼ਬੂਤ ​​ਸਾਧਨ ਬਣੀ ਹੋਈ ਹੈ।