ਅੰਕੜਿਆਂ ਵਿੱਚ ਆਊਟਲੀਅਰ ਕੀ ਹੈ?
ਅੰਕੜਿਆਂ ਵਿੱਚ, ਡੇਟਾ ਵਰਤਾਰਿਆਂ ਨੂੰ ਸਮਝਣ ਲਈ ਮੁੱਖ ਕੱਚਾ ਮਾਲ ਹੈ: ਖਪਤਕਾਰ ਵਿਵਹਾਰ, ਟੈਸਟ ਦੇ ਨਤੀਜੇ, ਮਰੀਜ਼ ਦੀ ਸਿਹਤ, ਉਤਪਾਦਨ ਦੀ ਗੁਣਵੱਤਾ, ਅਤੇ ਇੱਥੋਂ ਤੱਕ ਕਿ ਆਰਥਿਕ ਰੁਝਾਨ ਵੀ। ਹਾਲਾਂਕਿ, ਸਾਰੇ ਡੇਟਾ ਪੁਆਇੰਟ ਬਹੁਗਿਣਤੀ ਵਾਂਗ "ਵਿਵਹਾਰ" ਨਹੀਂ ਕਰਦੇ। ਕਈ ਵਾਰ ਅਸੀਂ ਇੱਕ ਜਾਂ ਇੱਕ ਤੋਂ ਵੱਧ ਮੁੱਲਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰਦੇ ਹਾਂ ਜੋ ਬਾਕੀ ਡੇਟਾ ਸੈੱਟ ਤੋਂ ਕਾਫ਼ੀ ਵੱਖਰੇ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ। ਇਹਨਾਂ ਆਊਟਲੀਅਰਾਂ ਨੂੰ ਆਊਟਲੀਅਰ ਵਜੋਂ ਜਾਣਿਆ ਜਾਂਦਾ ਹੈ। ਆਊਟਲੀਅਰਾਂ ਨੂੰ ਸਮਝਣਾ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿਉਂਕਿ ਉਹ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਸਿੱਟਿਆਂ ਨੂੰ ਬਦਲ ਸਕਦੇ ਹਨ, ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਵਾਲੇ ਮਾਡਲਾਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰ ਸਕਦੇ ਹਨ, ਅਤੇ ਜਾਂਚ ਕਰਨ ਯੋਗ ਮਹੱਤਵਪੂਰਨ ਘਟਨਾਵਾਂ ਨੂੰ ਵੀ ਦਰਸਾ ਸਕਦੇ ਹਨ।
ਆਊਟਲੀਅਰਜ਼ ਨੂੰ ਸਮਝਣਾ
ਸਿੱਧੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਇੱਕ ਆਊਟਲੀਅਰ ਇੱਕ ਨਿਰੀਖਣ ਜਾਂ ਡੇਟਾ ਮੁੱਲ ਹੁੰਦਾ ਹੈ ਜੋ ਜ਼ਿਆਦਾਤਰ ਡੇਟਾ ਤੋਂ ਕਾਫ਼ੀ ਵੱਖਰਾ ਹੁੰਦਾ ਹੈ। ਆਊਟਲੀਅਰ ਆਮ ਪੈਟਰਨ ਨਾਲੋਂ ਉੱਚੇ (ਬਹੁਤ ਜ਼ਿਆਦਾ) ਜਾਂ ਘੱਟ (ਬਹੁਤ ਘੱਟ) ਹੋ ਸਕਦੇ ਹਨ। ਉਦਾਹਰਣ ਵਜੋਂ, ਜੇਕਰ ਜ਼ਿਆਦਾਤਰ ਵਿਦਿਆਰਥੀਆਂ ਦੇ ਟੈਸਟ ਸਕੋਰ 60-90 ਦੀ ਰੇਂਜ ਵਿੱਚ ਆਉਂਦੇ ਹਨ, ਅਤੇ 5 ਜਾਂ 100 ਦਾ ਇੱਕ ਸਕੋਰ ਕਾਫ਼ੀ ਭਟਕ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਉਸ ਸਕੋਰ ਨੂੰ ਆਊਟਲੀਅਰ ਵਜੋਂ ਸ਼ੱਕ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।
ਇਸ ਗੱਲ 'ਤੇ ਜ਼ੋਰ ਦੇਣਾ ਮਹੱਤਵਪੂਰਨ ਹੈ: ਇੱਕ ਆਊਟਲੀਅਰ ਦਾ ਮਤਲਬ ਹਮੇਸ਼ਾ "ਗਲਤੀ" ਨਹੀਂ ਹੁੰਦਾ। ਇੱਕ ਆਊਟਲੀਅਰ ਸਿਰਫ਼ ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਡੇਟਾ ਸੈੱਟ ਦੇ ਮੁਕਾਬਲੇ ਮੁੱਲ ਅਸਾਧਾਰਨ ਹੈ। ਆਊਟਲੀਅਰ ਇਨਪੁਟ ਗਲਤੀਆਂ, ਨੁਕਸਦਾਰ ਮਾਪਣ ਵਾਲੇ ਯੰਤਰਾਂ ਤੋਂ ਪੈਦਾ ਹੋ ਸਕਦੇ ਹਨ, ਜਾਂ ਸਿਰਫ਼ ਦੁਰਲੱਭ ਪਰ ਮਹੱਤਵਪੂਰਨ ਅਸਲ-ਸੰਸਾਰ ਦੀਆਂ ਘਟਨਾਵਾਂ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ।
ਸਧਾਰਨ ਉਦਾਹਰਣ
10 ਲੋਕਾਂ ਦੇ ਮਾਸਿਕ ਆਮਦਨ ਦੇ ਅੰਕੜਿਆਂ (ਮਿਲੀਅਨ ਰੁਪਏ ਵਿੱਚ) ਦੀ ਕਲਪਨਾ ਕਰੋ:
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
ਇੱਥੇ, 50 ਨੰਬਰ ਦੂਜਿਆਂ ਦੇ ਮੁਕਾਬਲੇ ਬਹੁਤ ਸਪੱਸ਼ਟ ਹੈ। ਕੀ 50 ਇੱਕ ਗਲਤੀ ਹੈ? ਇਹ ਗਲਤ ਪੜ੍ਹਨਾ ਹੋ ਸਕਦਾ ਹੈ (ਇਹ 5,0 ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ), ਪਰ ਇਹ ਸਹੀ ਵੀ ਹੋ ਸਕਦਾ ਹੈ ਕਿਉਂਕਿ ਵਿਅਕਤੀ ਇੱਕ ਵੱਡਾ ਕਾਰੋਬਾਰੀ ਮਾਲਕ ਹੈ। ਦੋਵਾਂ ਮਾਮਲਿਆਂ ਵਿੱਚ, 50 ਇੱਕ ਬਾਹਰੀ ਹਿੱਸਾ ਰਹਿੰਦਾ ਹੈ - ਜੋ ਵੱਖਰਾ ਹੈ ਉਹ ਇਹ ਹੈ ਕਿ ਅਸੀਂ ਵਿਸ਼ਲੇਸ਼ਣ ਵਿੱਚ ਇਸਨੂੰ ਕਿਵੇਂ ਵਰਤਦੇ ਹਾਂ।
ਆਊਟਲੀਅਰ ਕਿਉਂ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ?
ਬਾਹਰਲੇ ਲੋਕਾਂ ਦੇ ਦਿਖਾਈ ਦੇਣ ਦੇ ਕਈ ਆਮ ਕਾਰਨ ਹਨ:
1. ਮਾਪ ਜਾਂ ਔਜ਼ਾਰ ਗਲਤੀ
ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਤਾਪਮਾਨ ਸੈਂਸਰ ਕਈ ਵਾਰ ਦਖਲਅੰਦਾਜ਼ੀ ਦੇ ਕਾਰਨ ਬਹੁਤ ਜ਼ਿਆਦਾ ਮੁੱਲ ਪੜ੍ਹ ਸਕਦਾ ਹੈ।
2. ਡਾਟਾ ਰਿਕਾਰਡ ਕਰਨ ਜਾਂ ਇਨਪੁੱਟ ਕਰਨ ਵਿੱਚ ਗਲਤੀਆਂ
ਕਲਾਸਿਕ ਉਦਾਹਰਣਾਂ: 100 ਦੀ ਬਜਾਏ 1000 ਟਾਈਪ ਕਰਨਾ, ਜਾਂ ਗਲਤ ਇਕਾਈਆਂ (ਸੈ.ਮੀ. ਬਨਾਮ ਮੀਟਰ)।
3. ਕੁਦਰਤੀ ਭਿੰਨਤਾ
ਅਸਲ ਦੁਨੀਆਂ ਵਿੱਚ, ਬਹੁਤ ਘੱਟ ਪਰ ਯਥਾਰਥਵਾਦੀ ਘਟਨਾਵਾਂ ਹੁੰਦੀਆਂ ਹਨ: ਇੱਕ ਵੱਡੀ ਪ੍ਰਮੋਸ਼ਨ ਕਾਰਨ ਵਿਕਰੀ ਵਿੱਚ ਵਾਧਾ, ਇੱਕ ਮਰੀਜ਼ ਨੂੰ ਕਿਸੇ ਦਵਾਈ ਪ੍ਰਤੀ ਅਸਾਧਾਰਨ ਪ੍ਰਤੀਕਿਰਿਆ ਮਿਲਦੀ ਹੈ, ਜਾਂ ਇੱਕ ਐਥਲੀਟ ਇੱਕ ਬਹੁਤ ਵੱਡਾ ਰਿਕਾਰਡ ਕਾਇਮ ਕਰਦਾ ਹੈ।
4. ਪ੍ਰਕਿਰਿਆ ਜਾਂ ਹਾਲਤਾਂ ਵਿੱਚ ਬਦਲਾਅ
ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਫੈਕਟਰੀ ਵਿੱਚ ਇੱਕ ਖਾਸ ਦਿਨ ਮਸ਼ੀਨ ਦੀ ਅਸਫਲਤਾ ਹੁੰਦੀ ਹੈ, ਜਿਸ ਕਾਰਨ ਨੁਕਸਦਾਰ ਉਤਪਾਦਾਂ ਦੀ ਗਿਣਤੀ ਬਹੁਤ ਵੱਧ ਜਾਂਦੀ ਹੈ।
5. ਮਿਸ਼ਰਤ ਆਬਾਦੀ
ਇੱਕ ਡੇਟਾਸੈੱਟ ਵਿੱਚ ਕਈ ਵੱਖ-ਵੱਖ ਸਮੂਹ ਸ਼ਾਮਲ ਹੋ ਸਕਦੇ ਹਨ। ਉਦਾਹਰਨ ਲਈ, ਮਿਡਲ ਸਕੂਲ ਅਤੇ ਕਾਲਜ ਦੇ ਵਿਦਿਆਰਥੀਆਂ ਦੀਆਂ ਉਚਾਈਆਂ ਮਿਲਾਈਆਂ ਜਾਂਦੀਆਂ ਹਨ; ਕੁਝ "ਅਤਿਅੰਤ" ਮੁੱਲ ਵਿਸੰਗਤੀਆਂ ਦੇ ਕਾਰਨ ਨਹੀਂ, ਸਗੋਂ ਇਸ ਲਈ ਪ੍ਰਗਟ ਹੋ ਸਕਦੇ ਹਨ ਕਿਉਂਕਿ ਸਮੂਹ ਸੱਚਮੁੱਚ ਵੱਖਰੇ ਹਨ।
ਅੰਕੜਾ ਵਿਸ਼ਲੇਸ਼ਣ 'ਤੇ ਆਊਟਲੀਅਰਜ਼ ਦਾ ਪ੍ਰਭਾਵ
ਆਊਟਲੀਅਰ ਮਹੱਤਵਪੂਰਨ ਹਨ ਕਿਉਂਕਿ ਉਹ ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਨਤੀਜਿਆਂ ਨੂੰ ਮਹੱਤਵਪੂਰਨ ਤੌਰ 'ਤੇ ਪ੍ਰਭਾਵਿਤ ਕਰ ਸਕਦੇ ਹਨ, ਖਾਸ ਕਰਕੇ ਉਹਨਾਂ ਤਰੀਕਿਆਂ ਵਿੱਚ ਜੋ ਅਤਿਅੰਤ ਮੁੱਲਾਂ ਪ੍ਰਤੀ ਸੰਵੇਦਨਸ਼ੀਲ ਹੁੰਦੇ ਹਨ।
1. ਔਸਤ (ਔਸਤ) ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ
ਔਸਤ ਨੂੰ ਅਤਿਅੰਤ ਮੁੱਲਾਂ ਦੁਆਰਾ ਆਸਾਨੀ ਨਾਲ "ਖਿੱਚਿਆ" ਜਾਂਦਾ ਹੈ। ਉੱਪਰ ਦਿੱਤੀ ਆਮਦਨੀ ਉਦਾਹਰਣ ਵਿੱਚ, ਔਸਤ 50 ਦੇ ਮੁੱਲ ਦੁਆਰਾ ਕਾਫ਼ੀ ਵਧਾਇਆ ਜਾਵੇਗਾ, ਭਾਵੇਂ ਬਹੁਗਿਣਤੀ 5-8 ਦੇ ਆਸ-ਪਾਸ ਹਨ।
2. ਮਿਆਰੀ ਭਟਕਣ ਅਤੇ ਭਿੰਨਤਾ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ
ਕਿਉਂਕਿ ਵਿਭਿੰਨਤਾ ਗਣਨਾਵਾਂ ਵਿੱਚ ਮੱਧਮਾਨ ਤੋਂ ਵਰਗ ਅੰਤਰ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ, ਆਊਟਲੀਅਰ ਵਿਭਿੰਨਤਾ ਅਤੇ ਮਿਆਰੀ ਵਿਵਹਾਰ ਨੂੰ ਵਧਾ ਸਕਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਇਹ ਜਾਪਦਾ ਹੈ ਕਿ ਡੇਟਾ ਅਸਲ ਵਿੱਚ ਹੋਣ ਨਾਲੋਂ ਜ਼ਿਆਦਾ "ਫੈਲਿਆ ਹੋਇਆ" ਹੈ।
3. ਪਰੇਸ਼ਾਨ ਕਰਨ ਵਾਲੇ ਰਿਗਰੈਸ਼ਨ ਅਤੇ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਮਾਡਲ
ਲੀਨੀਅਰ ਰਿਗਰੈਸ਼ਨ ਵਿੱਚ, ਆਊਟਲੀਅਰ ਰਿਗਰੈਸ਼ਨ ਲਾਈਨ ਨੂੰ ਵਿਗੜ ਸਕਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਜ਼ਿਆਦਾਤਰ ਡੇਟਾ ਲਈ ਭਵਿੱਖਬਾਣੀਆਂ ਮਾੜੀਆਂ ਹੋ ਜਾਂਦੀਆਂ ਹਨ। ਕੁਝ ਐਲਗੋਰਿਦਮ ਵਿੱਚ, ਆਊਟਲੀਅਰ ਮਾਡਲ ਨੂੰ ਓਵਰਫਿਟ ਕਰਨ ਜਾਂ ਸਿਖਲਾਈ ਮਾਪਦੰਡਾਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਨ ਦਾ ਕਾਰਨ ਬਣ ਸਕਦੇ ਹਨ।
4. ਪਰਿਕਲਪਨਾ ਟੈਸਟਿੰਗ ਨੂੰ ਪ੍ਰਭਾਵਤ ਕਰੋ
ਆਊਟਲੀਅਰ ਪੈਰਾਮੀਟ੍ਰਿਕ ਟੈਸਟਾਂ ਵਿੱਚ ਅਕਸਰ ਵਰਤੇ ਜਾਂਦੇ ਵਿਭਿੰਨਤਾ ਦੀ ਸਧਾਰਣਤਾ ਅਤੇ ਸਮਰੂਪਤਾ ਦੀਆਂ ਧਾਰਨਾਵਾਂ ਦੀ ਉਲੰਘਣਾ ਕਰ ਸਕਦੇ ਹਨ, ਤਾਂ ਜੋ ਅੰਕੜਾਤਮਕ ਸਿੱਟੇ ਪੱਖਪਾਤੀ ਹੋ ਜਾਣ।
ਹਾਲਾਂਕਿ, ਆਊਟਲੀਅਰ ਵੀ ਮਹੱਤਵਪੂਰਨ ਸੰਕੇਤ ਹੋ ਸਕਦੇ ਹਨ। ਧੋਖਾਧੜੀ ਦਾ ਪਤਾ ਲਗਾਉਣ ਵਿੱਚ, ਆਊਟਲੀਅਰ ਲੈਣ-ਦੇਣ ਬਿਲਕੁਲ ਉਹੀ ਹਨ ਜੋ ਅਸੀਂ ਦੇਖਣਾ ਚਾਹੁੰਦੇ ਹਾਂ। ਸਿਹਤ ਸੰਭਾਲ ਵਿੱਚ, ਕਾਫ਼ੀ ਵੱਖਰੇ ਪ੍ਰਯੋਗਸ਼ਾਲਾ ਨਤੀਜੇ ਇੱਕ ਗੰਭੀਰ ਡਾਕਟਰੀ ਸਥਿਤੀ ਦਾ ਸੰਕੇਤ ਦੇ ਸਕਦੇ ਹਨ।
ਬਾਹਰਲੇ ਲੋਕਾਂ ਦਾ ਪਤਾ ਕਿਵੇਂ ਲਗਾਇਆ ਜਾਵੇ
ਕੋਈ ਇੱਕ "ਸਹੀ" ਤਰੀਕਾ ਨਹੀਂ ਹੈ। ਆਊਟਲੀਅਰ ਖੋਜ ਅਕਸਰ ਸੰਦਰਭ, ਡੇਟਾ ਕਿਸਮ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਉਦੇਸ਼ਾਂ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ। ਇੱਥੇ ਕੁਝ ਆਮ ਤਰੀਕੇ ਹਨ:
1. ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ: ਬਾਕਸਪਲਾਟ ਅਤੇ ਸਕੈਟਰਪਲਾਟ
– ਬਾਕਸਪਲਾਟ ਆਊਟਲੀਅਰਾਂ ਨੂੰ ਲੱਭਣ ਲਈ ਬਹੁਤ ਮਸ਼ਹੂਰ ਹਨ। ਇੱਕ ਬਾਕਸਪਲਾਟ ਵਿੱਚ, ਆਊਟਲੀਅਰਾਂ ਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਉਨ੍ਹਾਂ ਬਿੰਦੂਆਂ ਵਜੋਂ ਚਿੰਨ੍ਹਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਜੋ ਵਿਸਕਰ ਬਾਕਸ ਦੇ ਬਾਹਰ ਆਉਂਦੇ ਹਨ।
- ਸਕੈਟਰਪਲਾਟ ਦੋ ਵੇਰੀਏਬਲਾਂ ਵਿਚਕਾਰ ਸਬੰਧਾਂ ਵਿੱਚ ਬਾਹਰੀ ਪੱਖਾਂ ਨੂੰ ਦੇਖਣ ਵਿੱਚ ਮਦਦ ਕਰਦੇ ਹਨ, ਉਦਾਹਰਨ ਲਈ ਭਾਰ ਬਨਾਮ ਉਚਾਈ।
ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ ਪਹਿਲੇ ਕਦਮ ਵਜੋਂ ਲਾਭਦਾਇਕ ਹੈ ਕਿਉਂਕਿ ਇਹ ਤੇਜ਼ ਅਤੇ ਸਹਿਜ ਹੈ।
2. IQR (ਇੰਟਰਕੁਆਰਟਾਈਲ ਰੇਂਜ) ਵਿਧੀ
IQR ਵਿਧੀ ਅਕਸਰ ਸਿੰਗਲ-ਵੇਰੀਏਬਲ ਡੇਟਾ (ਯੂਨੀਵੇਰੀਏਟ) ਲਈ ਵਰਤੀ ਜਾਂਦੀ ਹੈ।
- Q1 (ਚੌਥਾਈ 1) ਅਤੇ Q3 (ਚੌਥਾਈ 3) ਦੀ ਗਣਨਾ ਕਰੋ
– IQR = Q3 − Q1
– ਹੇਠਲੀ ਸੀਮਾ = Q1 − 1,5 × IQR
– ਉਪਰਲੀ ਸੀਮਾ = Q3 + 1,5 × IQR
ਇਹਨਾਂ ਸੀਮਾਵਾਂ ਤੋਂ ਬਾਹਰਲੇ ਮੁੱਲਾਂ ਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਬਾਹਰੀ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ। ਇਹ ਤਰੀਕਾ ਮੁਕਾਬਲਤਨ ਮਜ਼ਬੂਤ ਹੈ ਕਿਉਂਕਿ ਇਹ ਅਤਿਅੰਤ ਮੁੱਲਾਂ ਤੋਂ ਬਹੁਤ ਪ੍ਰਭਾਵਿਤ ਨਹੀਂ ਹੁੰਦਾ।
3. Z-ਸਕੋਰ (ਔਸਤ ਅਤੇ ਮਿਆਰੀ ਭਟਕਣ ਦੇ ਆਧਾਰ 'ਤੇ)
Z-ਸਕੋਰ ਮਾਪਦਾ ਹੈ ਕਿ ਮਿਆਰੀ ਵਿਵਹਾਰ ਇਕਾਈਆਂ ਵਿੱਚ ਇੱਕ ਮੁੱਲ ਔਸਤ ਤੋਂ ਕਿੰਨਾ ਦੂਰ ਹੈ।
– z = (x − ਔਸਤ) / sd
|z| > 3 (ਕਈ ਵਾਰ > 2,5) ਵਾਲੇ ਮੁੱਲਾਂ ਨੂੰ ਅਕਸਰ ਬਾਹਰੀ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ।
ਕਮਜ਼ੋਰੀ: ਜੇਕਰ ਡੇਟਾ ਵਿੱਚ ਪਹਿਲਾਂ ਹੀ ਵੱਡੇ ਆਊਟਲੀਅਰ ਹਨ, ਤਾਂ ਮੱਧਮਾਨ ਅਤੇ sd ਪ੍ਰਭਾਵਿਤ ਹੁੰਦੇ ਹਨ ਤਾਂ ਜੋ ਖੋਜ ਘੱਟ ਸਟੀਕ ਹੋ ਸਕੇ।
4. ਮਾਡਲ-ਅਧਾਰਿਤ ਅਤੇ ਬਹੁ-ਪਰਿਵਰਤਨ ਵਿਧੀਆਂ
ਮਲਟੀ-ਵੇਰੀਏਬਲ ਡੇਟਾ ਲਈ, ਆਊਟਲੀਅਰ ਹਮੇਸ਼ਾ ਸਿਰਫ਼ ਇੱਕ ਕਾਲਮ ਵਿੱਚ ਨਹੀਂ ਦਿਖਾਈ ਦਿੰਦੇ, ਸਗੋਂ ਕਈ ਵੇਰੀਏਬਲਾਂ ਦੇ ਸੁਮੇਲ ਵਿੱਚ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ।
- ਮਹਾਲਨੋਬਿਸ ਦੂਰੀ ਅਕਸਰ ਮਲਟੀਵੇਰੀਏਟ ਆਊਟਲੀਅਰਾਂ ਦਾ ਪਤਾ ਲਗਾਉਣ ਲਈ ਵਰਤੀ ਜਾਂਦੀ ਹੈ।
- ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਵਿੱਚ, ਆਈਸੋਲੇਸ਼ਨ ਫੋਰੈਸਟ, ਲੋਕਲ ਆਊਟਲੀਅਰ ਫੈਕਟਰ (LOF), ਜਾਂ ਵਨ-ਕਲਾਸ SVM ਵਰਗੇ ਤਰੀਕੇ ਹਨ।
ਇਹ ਵਿਧੀ ਵੱਡੇ ਅਤੇ ਗੁੰਝਲਦਾਰ ਡੇਟਾਸੈੱਟਾਂ ਲਈ ਢੁਕਵੀਂ ਹੈ, ਉਦਾਹਰਨ ਲਈ ਵਿੱਤੀ ਲੈਣ-ਦੇਣ ਦੀ ਵਿਗਾੜ ਦਾ ਪਤਾ ਲਗਾਉਣਾ।
ਜੇਕਰ ਤੁਹਾਨੂੰ ਕੋਈ ਬਾਹਰੀ ਚੀਜ਼ ਮਿਲਦੀ ਹੈ ਤਾਂ ਕੀ ਕਰਨਾ ਹੈ?
ਸਭ ਤੋਂ ਵਧੀਆ ਕਾਰਵਾਈ ਸਿਰਫ਼ ਉਹਨਾਂ ਨੂੰ ਮਿਟਾਉਣਾ ਨਹੀਂ ਹੈ। ਆਮ ਤੌਰ 'ਤੇ, ਆਊਟਲੇਅਰ ਹੈਂਡਲਿੰਗ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਕਈ ਕਦਮ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ:
1. ਡਾਟਾ ਤਸਦੀਕ
- ਗਲਤ ਇਨਪੁੱਟ, ਡੁਪਲੀਕੇਸ਼ਨ, ਜਾਂ ਗਲਤ ਇਕਾਈਆਂ ਦੀ ਜਾਂਚ ਕਰੋ।
- ਮੂਲ ਡੇਟਾ ਸਰੋਤ (ਜਿਵੇਂ ਕਿ ਫਾਰਮ, ਸੈਂਸਰ ਲੌਗ, ਜਾਂ ਮੈਨੂਅਲ ਰਿਕਾਰਡ) ਨਾਲ ਤੁਲਨਾ ਕਰੋ।
2. ਸੰਦਰਭ ਨੂੰ ਸਮਝੋ
– ਕੀ ਡੋਮੇਨ ਵਿੱਚ ਅਤਿਅੰਤ ਮੁੱਲ ਅਰਥ ਰੱਖਦੇ ਹਨ?
- ਉਦਾਹਰਣ ਵਜੋਂ, 50°C ਦਾ ਮਨੁੱਖੀ ਸਰੀਰ ਦਾ ਤਾਪਮਾਨ ਲਗਭਗ ਗਲਤ ਹੈ; ਪਰ 50 ਮਿਲੀਅਨ ਦੀ ਆਮਦਨ ਵਾਜਬ ਹੋ ਸਕਦੀ ਹੈ।
3. ਵਿਸ਼ਲੇਸ਼ਣ ਦਾ ਉਦੇਸ਼ ਨਿਰਧਾਰਤ ਕਰੋ
- ਜੇਕਰ ਟੀਚਾ "ਆਮ" ਵਿਵਹਾਰ ਨੂੰ ਸਮਝਣਾ ਹੈ, ਤਾਂ ਬਾਹਰਲੇ ਲੋਕਾਂ ਨੂੰ ਹਾਵੀ ਹੋਣ ਤੋਂ ਰੋਕਣ ਲਈ ਉਹਨਾਂ ਨਾਲ ਨਜਿੱਠਣ ਦੀ ਲੋੜ ਹੋ ਸਕਦੀ ਹੈ।
- ਜੇਕਰ ਟੀਚਾ ਦੁਰਲੱਭ ਘਟਨਾਵਾਂ (ਧੋਖਾਧੜੀ, ਮਸ਼ੀਨ ਦੀ ਅਸਫਲਤਾ) ਨੂੰ ਲੱਭਣਾ ਹੈ, ਤਾਂ ਆਊਟਲਾਇਰ ਮੁੱਖ ਫੋਕਸ ਹਨ।
4. ਇੱਕ ਹੈਂਡਲਿੰਗ ਰਣਨੀਤੀ ਚੁਣੋ
ਕੁਝ ਆਮ ਵਿਕਲਪ:
- ਹਟਾਉਣਾ: ਜੇਕਰ ਬਾਹਰੀ ਗਲਤੀ ਸਾਬਤ ਹੁੰਦੀ ਹੈ ਅਤੇ ਪ੍ਰਤੀਨਿਧੀ ਨਹੀਂ ਹੁੰਦੀ ਤਾਂ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।
- ਡੇਟਾ ਪਰਿਵਰਤਨ: ਉਦਾਹਰਣ ਵਜੋਂ ਸਕਿਊਡ ਡੇਟਾ ਲਈ ਲੌਗ ਪਰਿਵਰਤਨ।
- ਵਿਨਸੋਰਾਈਜ਼ਿੰਗ / ਕੈਪਿੰਗ: ਅਤਿਅੰਤ ਮੁੱਲਾਂ ਨੂੰ ਕੁਝ ਪ੍ਰਤੀਸ਼ਤਾਂ ਤੱਕ ਸੀਮਤ ਕਰਨਾ (ਜਿਵੇਂ ਕਿ p1 ਅਤੇ p99)।
- ਮਜ਼ਬੂਤ ਢੰਗਾਂ ਦੀ ਵਰਤੋਂ ਕਰੋ: ਮੱਧਮ, IQR, ਮਜ਼ਬੂਤ ਰਿਗਰੈਸ਼ਨ, ਜਾਂ ਆਊਟਲੀਅਰ-ਰੋਧਕ ਮਾਡਲ।
- ਵੱਖਰਾ ਵਿਸ਼ਲੇਸ਼ਣ: ਕਈ ਵਾਰ ਬਾਹਰਲੇ ਲੋਕਾਂ ਦਾ ਵਿਸ਼ੇਸ਼ ਮਾਮਲਿਆਂ ਵਜੋਂ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨਾ ਵਧੇਰੇ ਉਚਿਤ ਹੁੰਦਾ ਹੈ।
ਮਹੱਤਵਪੂਰਨ ਗੱਲ ਇਹ ਹੈ ਕਿ ਫੈਸਲਿਆਂ ਦਾ ਦਸਤਾਵੇਜ਼ੀਕਰਨ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਤਾਂ ਜੋ ਵਿਸ਼ਲੇਸ਼ਣ ਪਾਰਦਰਸ਼ੀ ਅਤੇ ਜਵਾਬਦੇਹ ਹੋਵੇ।
ਬਾਹਰੀ ਤੱਥ: ਸਮੱਸਿਆ ਜਾਂ ਕੀਮਤੀ ਜਾਣਕਾਰੀ?
ਆਊਟਲੀਅਰਾਂ ਨੂੰ ਅਕਸਰ "ਸ਼ੋਰ" ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ ਕਿਉਂਕਿ ਉਹ ਅੰਕੜਾ ਸਾਰਾਂਸ਼ਾਂ ਨੂੰ ਵਿਗਾੜ ਸਕਦੇ ਹਨ। ਹਾਲਾਂਕਿ, ਬਹੁਤ ਸਾਰੇ ਮਾਮਲਿਆਂ ਵਿੱਚ, ਆਊਟਲੀਅਰ ਨਵੀਆਂ ਸੂਝਾਂ ਦਾ ਪ੍ਰਵੇਸ਼ ਦੁਆਰ ਹੁੰਦੇ ਹਨ: ਇੱਕ ਪ੍ਰੀਮੀਅਮ ਗਾਹਕ ਹਿੱਸੇ ਦੀ ਮੌਜੂਦਗੀ, ਇੱਕ ਮਰੀਜ਼ ਦੀ ਸਥਿਤੀ ਜਿਸ ਵੱਲ ਧਿਆਨ ਦੇਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਉਤਪਾਦਨ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਇੱਕ ਨਵਾਂ ਪੜਾਅ, ਜਾਂ ਸੰਭਾਵੀ ਧੋਖਾਧੜੀ। ਇਸ ਲਈ, ਆਊਟਲੀਅਰਾਂ ਨੂੰ ਅਜਿਹੀ ਚੀਜ਼ ਵਜੋਂ ਮੰਨਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਜਿਸਦੀ ਜਾਂਚ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਆਪਣੇ ਆਪ ਖਾਰਜ ਨਹੀਂ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ।
ਸਿੱਟਾ
ਅੰਕੜਿਆਂ ਵਿੱਚ ਇੱਕ ਆਊਟਲੀਅਰ ਇੱਕ ਅਜਿਹਾ ਮੁੱਲ ਹੁੰਦਾ ਹੈ ਜੋ ਡੇਟਾ ਦੇ ਆਮ ਪੈਟਰਨ ਤੋਂ ਕਾਫ਼ੀ ਭਟਕਦਾ ਹੈ। ਆਊਟਲੀਅਰ ਗਲਤੀਆਂ, ਕੁਦਰਤੀ ਪਰਿਵਰਤਨ, ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਤਬਦੀਲੀਆਂ, ਜਾਂ ਡੇਟਾਸੈਟ ਦੇ ਅੰਦਰ ਸਮੂਹ ਅੰਤਰਾਂ ਕਾਰਨ ਪੈਦਾ ਹੋ ਸਕਦੇ ਹਨ। ਉਹਨਾਂ ਦਾ ਪ੍ਰਭਾਵ ਔਸਤ, ਪਰਿਵਰਤਨ, ਅੰਕੜਾ ਟੈਸਟਾਂ ਅਤੇ ਭਵਿੱਖਬਾਣੀ ਮਾਡਲਾਂ 'ਤੇ ਮਹੱਤਵਪੂਰਨ ਹੋ ਸਕਦਾ ਹੈ। ਆਊਟਲੀਅਰ ਖੋਜ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ, IQR ਵਿਧੀਆਂ, z-ਸਕੋਰ, ਅਤੇ ਇੱਥੋਂ ਤੱਕ ਕਿ ਮਲਟੀਵੇਰੀਏਟ ਪਹੁੰਚਾਂ ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦੁਆਰਾ ਪ੍ਰਾਪਤ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਹੈਂਡਲਿੰਗ ਨੂੰ ਸੰਦਰਭ ਅਤੇ ਉਦੇਸ਼ਾਂ 'ਤੇ ਵਿਚਾਰ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ: ਪੁਸ਼ਟੀ ਕਰਨਾ, ਕਾਰਨਾਂ ਨੂੰ ਸਮਝਣਾ, ਅਤੇ ਫਿਰ ਮੁੱਲਾਂ ਨੂੰ ਹਟਾਉਣਾ, ਬਦਲਣਾ, ਸੀਮਤ ਕਰਨਾ, ਜਾਂ ਮਜ਼ਬੂਤ ਤਰੀਕਿਆਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਵਰਗੀ ਰਣਨੀਤੀ ਚੁਣਨਾ।
ਸਹੀ ਸਮਝ ਦੇ ਨਾਲ, ਆਊਟਲੀਅਰ ਸਿਰਫ਼ "ਅਜੀਬ ਸੰਖਿਆਵਾਂ" ਨਹੀਂ ਹਨ, ਸਗੋਂ ਅੰਕੜਾ ਅਭਿਆਸ ਦੇ ਮਹੱਤਵਪੂਰਨ ਤੱਤ ਹਨ ਜੋ ਡੇਟਾ-ਅਧਾਰਿਤ ਵਿਸ਼ਲੇਸ਼ਣ ਅਤੇ ਫੈਸਲਿਆਂ ਦੀ ਗੁਣਵੱਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰ ਸਕਦੇ ਹਨ।
