ਅੰਕੜਿਆਂ ਵਿੱਚ ਕਰਾਸ ਵੈਲੀਡੇਸ਼ਨ ਵਿਧੀ

ਅੰਕੜਿਆਂ ਵਿੱਚ ਕਰਾਸ ਵੈਲੀਡੇਸ਼ਨ ਵਿਧੀ

ਅੰਕੜਾ ਅਤੇ ਡੇਟਾ ਵਿਗਿਆਨ ਵਿੱਚ, ਸਭ ਤੋਂ ਵੱਡੀਆਂ ਚੁਣੌਤੀਆਂ ਵਿੱਚੋਂ ਇੱਕ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣਾ ਹੈ ਕਿ ਇੱਕ ਮਾਡਲ ਨਾ ਸਿਰਫ਼ ਉਸ ਡੇਟਾ 'ਤੇ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਕਰੇ ਜਿਸ 'ਤੇ ਉਸਨੂੰ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ ਸੀ, ਸਗੋਂ ਨਵੇਂ, ਪਹਿਲਾਂ ਨਾ ਵੇਖੇ ਗਏ ਡੇਟਾ 'ਤੇ ਵੀ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਕਰੇ। ਇਸ ਸਮੱਸਿਆ ਨੂੰ ਅਕਸਰ ਜਨਰਲਾਈਜ਼ੇਸ਼ਨ ਕਿਹਾ ਜਾਂਦਾ ਹੈ। ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਕਰਾਸ-ਵੈਲੀਡੇਸ਼ਨ ਆਉਂਦੀ ਹੈ: ਇੱਕ ਮਾਡਲ ਮੁਲਾਂਕਣ ਵਿਧੀ ਜੋ ਇੱਕ ਸਿੰਗਲ ਡੇਟਾ ਸੈੱਟ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਇੱਕ ਸਿੰਗਲ ਮੁਲਾਂਕਣ ਨਾਲੋਂ ਮਾਡਲ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਵਧੇਰੇ ਨਿਰਪੱਖ ਅਤੇ ਇਕਸਾਰਤਾ ਨਾਲ ਮਾਪਣ ਲਈ ਤਿਆਰ ਕੀਤੀ ਗਈ ਹੈ।

ਕਰਾਸ ਵੈਲੀਡੇਸ਼ਨ ਦੀ ਲੋੜ ਕਿਉਂ ਹੈ?

ਜਦੋਂ ਅਸੀਂ ਇੱਕ ਭਵਿੱਖਬਾਣੀ ਮਾਡਲ ਬਣਾਉਂਦੇ ਹਾਂ—ਉਦਾਹਰਣ ਵਜੋਂ, ਘਰਾਂ ਦੀਆਂ ਕੀਮਤਾਂ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਲਈ ਇੱਕ ਰਿਗਰੈਸ਼ਨ ਮਾਡਲ ਜਾਂ ਸਪੈਮ ਦਾ ਪਤਾ ਲਗਾਉਣ ਲਈ ਇੱਕ ਵਰਗੀਕਰਨ ਮਾਡਲ—ਅਸੀਂ ਆਮ ਤੌਰ 'ਤੇ ਡੇਟਾ ਨੂੰ ਦੋ ਹਿੱਸਿਆਂ ਵਿੱਚ ਵੰਡਦੇ ਹਾਂ: ਇੱਕ ਸਿਖਲਾਈ ਸੈੱਟ ਅਤੇ ਇੱਕ ਟੈਸਟ ਸੈੱਟ। ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਡੇਟਾ 'ਤੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ ਅਤੇ ਫਿਰ ਟੈਸਟ ਡੇਟਾ 'ਤੇ ਮੁਲਾਂਕਣ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਇਹ ਪਹੁੰਚ ਸਧਾਰਨ ਹੈ, ਪਰ ਇਸਦੀ ਇੱਕ ਕਮੀ ਹੈ: ਮੁਲਾਂਕਣ ਨਤੀਜੇ ਇਸ ਗੱਲ 'ਤੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਨਿਰਭਰ ਕਰ ਸਕਦੇ ਹਨ ਕਿ ਡੇਟਾ ਨੂੰ ਕਿਵੇਂ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ। ਜੇਕਰ ਟੈਸਟ ਡੇਟਾ "ਆਸਾਨ" ਹੁੰਦਾ ਹੈ, ਤਾਂ ਪ੍ਰਦਰਸ਼ਨ ਉੱਚ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ; ਜੇਕਰ ਟੈਸਟ ਡੇਟਾ "ਔਖਾ" ਹੁੰਦਾ ਹੈ, ਤਾਂ ਪ੍ਰਦਰਸ਼ਨ ਘੱਟ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ।

ਕਰਾਸ-ਵੈਲੀਡੇਸ਼ਨ ਵੱਖ-ਵੱਖ ਡੇਟਾ ਸੈੱਟਾਂ 'ਤੇ ਕਈ ਸਿਖਲਾਈ ਅਤੇ ਟੈਸਟਿੰਗ ਪ੍ਰਕਿਰਿਆਵਾਂ ਕਰਕੇ ਅਤੇ ਫਿਰ ਨਤੀਜਿਆਂ ਦੀ ਔਸਤ ਕਰਕੇ ਇੱਕ ਸਿੰਗਲ ਡੇਟਾ ਸੈੱਟ 'ਤੇ ਨਿਰਭਰਤਾ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ। ਇਸ ਦੇ ਨਤੀਜੇ ਵਜੋਂ ਪ੍ਰਦਰਸ਼ਨ ਅਨੁਮਾਨ ਹੁੰਦੇ ਹਨ ਜੋ ਅਸਲ-ਸੰਸਾਰ ਦੀਆਂ ਸਥਿਤੀਆਂ ਦੇ ਵਧੇਰੇ ਪ੍ਰਤੀਨਿਧੀ ਹੁੰਦੇ ਹਨ।

ਕਰਾਸ ਵੈਲੀਡੇਸ਼ਨ ਦੇ ਮੂਲ ਸੰਕਲਪ

ਕਰਾਸ-ਵੈਲੀਡੇਸ਼ਨ ਦਾ ਸਾਰ ਡੇਟਾ ਨੂੰ ਕਈ ਹਿੱਸਿਆਂ (ਫੋਲਡ) ਵਿੱਚ ਵੰਡਣਾ ਹੈ। ਹਰੇਕ ਦੁਹਰਾਓ 'ਤੇ, ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਕੁਝ ਫੋਲਡ ਵਰਤੇ ਜਾਂਦੇ ਹਨ, ਅਤੇ ਇੱਕ ਫੋਲਡ ਮਾਡਲ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਇਹ ਪ੍ਰਕਿਰਿਆ ਉਦੋਂ ਤੱਕ ਦੁਹਰਾਈ ਜਾਂਦੀ ਹੈ ਜਦੋਂ ਤੱਕ ਹਰੇਕ ਫੋਲਡ ਨੂੰ ਟੈਸਟ ਡੇਟਾ ਵਜੋਂ ਨਹੀਂ ਵਰਤਿਆ ਜਾਂਦਾ। ਫਿਰ ਹਰੇਕ ਦੁਹਰਾਓ ਤੋਂ ਮੁਲਾਂਕਣ ਸਕੋਰਾਂ ਨੂੰ ਜੋੜਿਆ ਜਾਂਦਾ ਹੈ (ਆਮ ਤੌਰ 'ਤੇ ਔਸਤ ਦੇ ਨਾਲ ਅਤੇ ਕਈ ਵਾਰ ਮਿਆਰੀ ਵਿਵਹਾਰ ਦੇ ਨਾਲ) ਤਾਂ ਜੋ ਮਾਡਲ ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਸੰਖੇਪ ਜਾਣਕਾਰੀ ਪ੍ਰਦਾਨ ਕੀਤੀ ਜਾ ਸਕੇ।

ਉਦਾਹਰਨ ਲਈ, k=5 ਨਾਲ k-ਫੋਲਡ ਕਰਾਸ ਵੈਲੀਡੇਸ਼ਨ ਵਿੱਚ, ਡੇਟਾ ਨੂੰ 5 ਫੋਲਡਾਂ ਵਿੱਚ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ। ਪਹਿਲਾ ਦੁਹਰਾਓ: ਟੈਸਟ ਦੇ ਤੌਰ 'ਤੇ 1 ਨੂੰ ਫੋਲਡ ਕਰੋ, ਸਿਖਲਾਈ ਦੇ ਤੌਰ 'ਤੇ 2-5 ਨੂੰ ਫੋਲਡ ਕਰੋ। ਦੂਜਾ ਦੁਹਰਾਓ: ਟੈਸਟ ਦੇ ਤੌਰ 'ਤੇ 2 ਨੂੰ ਫੋਲਡ ਕਰੋ, ਅਤੇ ਇਸ ਤਰ੍ਹਾਂ 5 ਨੂੰ ਫੋਲਡ ਕਰਨ ਤੱਕ।

ਕਰਾਸ ਵੈਲੀਡੇਸ਼ਨ ਦੀਆਂ ਆਮ ਕਿਸਮਾਂ

1. ਹੋਲਡਆਉਟ ਵੈਲੀਡੇਸ਼ਨ (ਟ੍ਰੇਨ-ਟੈਸਟ ਸਪਲਿਟ)
ਹਾਲਾਂਕਿ ਤਕਨੀਕੀ ਤੌਰ 'ਤੇ "ਦੁਹਰਾਓ" ਕਰਾਸ-ਵੈਲੀਡੇਸ਼ਨ ਨਹੀਂ, ਹੋਲਡਆਉਟ ਵਿਧੀ ਨੂੰ ਅਕਸਰ ਇੱਕ ਬੁਨਿਆਦੀ ਵੈਲੀਡੇਸ਼ਨ ਕਦਮ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ। ਡੇਟਾ ਨੂੰ ਇੱਕ ਵਾਰ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ, ਉਦਾਹਰਣ ਵਜੋਂ, 80% ਸਿਖਲਾਈ ਅਤੇ 20% ਟੈਸਟਿੰਗ। ਫਾਇਦਾ ਇਹ ਹੈ ਕਿ ਇਹ ਤੇਜ਼ ਅਤੇ ਸਰਲ ਹੈ, ਪਰ ਨੁਕਸਾਨ ਨਤੀਜਿਆਂ ਵਿੱਚ ਉੱਚ ਭਿੰਨਤਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਇੱਕ ਸਿੰਗਲ ਸਪਲਿਟ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ।

ਇਹ ਤਰੀਕਾ ਆਮ ਤੌਰ 'ਤੇ ਉਦੋਂ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ ਜਦੋਂ ਡੇਟਾ ਬਹੁਤ ਵੱਡਾ ਹੁੰਦਾ ਹੈ, ਤਾਂ ਜੋ ਇੱਕ ਭਾਗ ਵੀ ਕਾਫ਼ੀ ਪ੍ਰਤੀਨਿਧ ਹੋਵੇ।

2. ਕੇ-ਫੋਲਡ ਕਰਾਸ ਵੈਲੀਡੇਸ਼ਨ
ਇਹ ਕਰਾਸ-ਵੈਲੀਡੇਸ਼ਨ ਦਾ ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਰੂਪ ਹੈ। k ਪੈਰਾਮੀਟਰ ਨੂੰ ਅਕਸਰ 5 ਜਾਂ 10 ਵਜੋਂ ਚੁਣਿਆ ਜਾਂਦਾ ਹੈ ਕਿਉਂਕਿ ਇਸਨੂੰ ਕੰਪਿਊਟੇਸ਼ਨਲ ਲਾਗਤ ਅਤੇ ਅਨੁਮਾਨ ਗੁਣਵੱਤਾ ਨੂੰ ਸੰਤੁਲਿਤ ਕਰਨ ਲਈ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ।

ਲਾਭ:
- ਡੇਟਾ ਦੀ ਵਧੇਰੇ ਕੁਸ਼ਲਤਾ ਨਾਲ ਵਰਤੋਂ (ਹਰੇਕ ਡੇਟਾ ਟ੍ਰੇਨ ਅਤੇ ਟੈਸਟ ਦਾ ਹਿੱਸਾ ਬਣ ਜਾਂਦਾ ਹੈ)।
- ਪ੍ਰਦਰਸ਼ਨ ਦੇ ਅਨੁਮਾਨ ਹੋਲਡਆਉਟ ਨਾਲੋਂ ਵਧੇਰੇ ਸਥਿਰ ਹਨ।

ਕੇਕੁਰੰਗਨ:
- ਇਸ ਵਿੱਚ ਜ਼ਿਆਦਾ ਸਮਾਂ ਲੱਗਦਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਮਾਡਲ k ਵਾਰ ਸਿਖਲਾਈ ਦਿੰਦਾ ਹੈ।
- ਜੇਕਰ ਡੇਟਾ ਬਹੁਤ ਵੱਡਾ ਹੈ ਜਾਂ ਮਾਡਲ ਬਹੁਤ ਗੁੰਝਲਦਾਰ ਹੈ, ਤਾਂ ਕੰਪਿਊਟੇਸ਼ਨਲ ਲਾਗਤਾਂ ਜ਼ਿਆਦਾ ਹੋ ਸਕਦੀਆਂ ਹਨ।

3. ਸਟ੍ਰੈਟੀਫਾਈਡ ਕੇ-ਫੋਲਡ ਕਰਾਸ ਵੈਲੀਡੇਸ਼ਨ
ਵਰਗੀਕਰਨ ਸਮੱਸਿਆਵਾਂ ਲਈ, ਖਾਸ ਕਰਕੇ ਜੇਕਰ ਵਰਗ ਅਸੰਤੁਲਿਤ ਹਨ (ਜਿਵੇਂ ਕਿ, 90% ਨਕਾਰਾਤਮਕ, 10% ਸਕਾਰਾਤਮਕ), ਨਿਯਮਤ k-ਫੋਲਡ ਸਕਿਊਡ ਕਲਾਸ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨਾਂ ਦੇ ਨਾਲ ਫੋਲਡ ਪੈਦਾ ਕਰ ਸਕਦਾ ਹੈ। ਸਟ੍ਰੈਟੀਫਾਈਡ k-ਫੋਲਡ ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਹਰੇਕ ਫੋਲਡ ਵਿੱਚ ਕਲਾਸਾਂ ਦਾ ਅਨੁਪਾਤ ਲਗਭਗ ਅਸਲ ਡੇਟਾ ਵਿੱਚ ਕਲਾਸਾਂ ਦੇ ਅਨੁਪਾਤ ਦੇ ਸਮਾਨ ਹੈ।

ਇਹ ਬਿਮਾਰੀ ਖੋਜ ਮਾਡਲਾਂ, ਧੋਖਾਧੜੀ, ਜਾਂ ਹੋਰ ਮਾਮਲਿਆਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਵਿੱਚ ਖਾਸ ਤੌਰ 'ਤੇ ਮਹੱਤਵਪੂਰਨ ਹੈ ਜਿੱਥੇ ਘੱਟ ਗਿਣਤੀ ਵਰਗ ਛੋਟਾ ਹੈ।

4. ਲੀਵ-ਵਨ-ਆਊਟ ਕਰਾਸ ਵੈਲੀਡੇਸ਼ਨ (LOOCV)
LOOCV ਵਿੱਚ, ਫੋਲਡਾਂ ਦੀ ਗਿਣਤੀ ਡੇਟਾ ਦੀ ਮਾਤਰਾ ਦੇ ਬਰਾਬਰ ਹੁੰਦੀ ਹੈ (k = n)। ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਹਰੇਕ ਦੁਹਰਾਅ ਵਿੱਚ, ਸਿਰਫ਼ ਇੱਕ ਨਿਰੀਖਣ ਟੈਸਟ ਡੇਟਾ ਬਣ ਜਾਂਦਾ ਹੈ, ਜਦੋਂ ਕਿ ਬਾਕੀ ਸਿਖਲਾਈ ਡੇਟਾ ਬਣ ਜਾਂਦਾ ਹੈ।

ਲਾਭ:
- ਲਗਭਗ ਸਾਰਾ ਡੇਟਾ ਹਰੇਕ ਦੁਹਰਾਓ 'ਤੇ ਸਿਖਲਾਈ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ, ਇਸ ਲਈ ਅਨੁਮਾਨ ਪੱਖਪਾਤ ਛੋਟਾ ਹੋ ਸਕਦਾ ਹੈ।

ਕੇਕੁਰੰਗਨ:
- ਵੱਡੇ ਡੇਟਾਸੈੱਟਾਂ ਲਈ ਬਹੁਤ ਗਣਨਾਤਮਕ ਤੌਰ 'ਤੇ ਮਹਿੰਗਾ।
- ਕੁਝ ਕਿਸਮਾਂ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਵਿੱਚ ਅਨੁਮਾਨ ਭਿੰਨਤਾ ਜ਼ਿਆਦਾ ਹੋ ਸਕਦੀ ਹੈ ਕਿਉਂਕਿ ਟੈਸਟ ਸੈੱਟ ਪ੍ਰਤੀ ਦੁਹਰਾਓ ਸਿਰਫ ਇੱਕ ਬਿੰਦੂ ਹੁੰਦਾ ਹੈ।

LOOCV ਅਕਸਰ ਉਦੋਂ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ ਜਦੋਂ ਬਹੁਤ ਘੱਟ ਡੇਟਾ ਹੁੰਦਾ ਹੈ, ਉਦਾਹਰਨ ਲਈ ਛੋਟੇ ਨਮੂਨੇ ਦੇ ਆਕਾਰ ਵਾਲੀ ਖੋਜ।

5. ਦੁਹਰਾਇਆ ਗਿਆ ਕੇ-ਫੋਲਡ ਕਰਾਸ ਪ੍ਰਮਾਣਿਕਤਾ
ਇਹ ਵਿਧੀ ਵੱਖ-ਵੱਖ (ਰੈਂਡਮ) ਫੋਲਡ ਅਸਾਈਨਮੈਂਟਾਂ ਨਾਲ k-ਫੋਲਡ ਨੂੰ ਕਈ ਵਾਰ ਦੁਹਰਾਉਂਦੀ ਹੈ। ਟੀਚਾ ਇੱਕ ਸਿੰਗਲ ਫੋਲਡ ਅਸਾਈਨਮੈਂਟ 'ਤੇ ਨਿਰਭਰਤਾ ਨੂੰ ਘਟਾਉਣਾ ਅਤੇ ਵਧੇਰੇ ਸਥਿਰ ਅਨੁਮਾਨ ਪੈਦਾ ਕਰਨਾ ਹੈ।

ਉਦਾਹਰਣ ਵਜੋਂ, "10-ਗੁਣਾ 3 ਵਾਰ ਦੁਹਰਾਇਆ" ਦਾ ਅਰਥ ਹੈ 10-ਗੁਣਾ 3 ਵਾਰ ਦੌੜਨਾ (ਕੁੱਲ 30 ਸਿਖਲਾਈ ਅਤੇ ਮੁਲਾਂਕਣ)।

6. ਟਾਈਮ ਸੀਰੀਜ਼ ਕਰਾਸ ਵੈਲੀਡੇਸ਼ਨ
ਸਮਾਂ ਲੜੀ ਦੇ ਡੇਟਾ ਲਈ, ਰਵਾਇਤੀ ਕਰਾਸ-ਪ੍ਰਮਾਣਿਕਤਾ ਢੁਕਵੀਂ ਨਹੀਂ ਹੈ ਕਿਉਂਕਿ ਇਹ ਸਿਖਲਾਈ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ "ਭਵਿੱਖ ਨੂੰ ਲੀਕ" ਕਰ ਸਕਦੀ ਹੈ। ਸਮਾਂ ਲੜੀ ਵਿੱਚ, ਅਸਥਾਈ ਕ੍ਰਮ ਨੂੰ ਸੁਰੱਖਿਅਤ ਰੱਖਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਇਸ ਲਈ, ਪਹੁੰਚ ਜਿਵੇਂ ਕਿ:
– ਰੋਲਿੰਗ/ਸਲਾਈਡਿੰਗ ਵਿੰਡੋ: ਸ਼ੁਰੂਆਤੀ ਪੀਰੀਅਡ ਵਿੱਚ ਟ੍ਰੇਨ ਕਰੋ ਫਿਰ ਅਗਲੇ ਪੀਰੀਅਡ ਵਿੱਚ ਟੈਸਟ ਕਰੋ, ਫਿਰ ਵਿੰਡੋ ਸ਼ਿਫਟ ਹੋ ਜਾਂਦੀ ਹੈ।
- ਵਿਸਤਾਰ ਵਿੰਡੋ: ਸਿਖਲਾਈ ਡੇਟਾ ਸਮੇਂ ਦੇ ਨਾਲ ਵਧਦਾ ਹੈ, ਫਿਰ ਅਗਲੀ ਮਿਆਦ ਵਿੱਚ ਟੈਸਟ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

ਇਹ ਵਿਧੀ ਮਾਸਿਕ ਵਿਕਰੀ ਭਵਿੱਖਬਾਣੀ, ਸਟਾਕ ਕੀਮਤਾਂ, ਜਾਂ ਰੀਅਲ-ਟਾਈਮ ਸੈਂਸਰਾਂ ਲਈ ਢੁਕਵੀਂ ਹੈ।

ਕਰਾਸ ਵੈਲੀਡੇਸ਼ਨ ਵਿੱਚ ਮੁਲਾਂਕਣ ਮੈਟ੍ਰਿਕਸ

ਕਰਾਸ ਵੈਲੀਡੇਸ਼ਨ ਸਿਰਫ਼ ਇੱਕ ਮੁਲਾਂਕਣ ਢਾਂਚਾ ਹੈ; ਵਰਤੇ ਗਏ ਮੈਟ੍ਰਿਕਸ ਸਮੱਸਿਆ ਦੀ ਕਿਸਮ 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ:
- ਰਿਗਰੈਸ਼ਨ: MSE, RMSE, MAE, R-ਵਰਗ।
- ਵਰਗੀਕਰਨ: ਸ਼ੁੱਧਤਾ, ਸ਼ੁੱਧਤਾ, ਯਾਦ, F1-ਸਕੋਰ, ROC-AUC।
- ਅਸੰਤੁਲਿਤ ਵਰਗੀਕਰਨ: ROC-AUC, PR-AUC (ਸ਼ੁੱਧਤਾ-ਯਾਦ), ਸੰਤੁਲਿਤ ਸ਼ੁੱਧਤਾ।

ਕਰਾਸ-ਵੈਲੀਡੇਸ਼ਨ ਨਤੀਜੇ ਆਮ ਤੌਰ 'ਤੇ ਇੱਕ ਮੀਟ੍ਰਿਕ ਔਸਤ ਅਤੇ ਮਿਆਰੀ ਭਟਕਣ (ਜਿਵੇਂ ਕਿ, ਸ਼ੁੱਧਤਾ 0,89 ± 0,03) ਦੇ ਰੂਪ ਵਿੱਚ ਰਿਪੋਰਟ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਮਿਆਰੀ ਭਟਕਣ ਮਾਡਲ ਦੀ ਸਥਿਰਤਾ ਨੂੰ ਸਮਝਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ।

ਮਾਡਲ ਚੋਣ ਅਤੇ ਪੈਰਾਮੀਟਰ ਟਿਊਨਿੰਗ ਲਈ ਕਰਾਸ ਵੈਲੀਡੇਸ਼ਨ

ਕਰਾਸ ਵੈਲੀਡੇਸ਼ਨ ਦੇ ਮੁੱਖ ਉਪਯੋਗਾਂ ਵਿੱਚੋਂ ਇੱਕ ਮਾਡਲ ਚੋਣ ਅਤੇ ਹਾਈਪਰਪੈਰਾਮੀਟਰ ਟਿਊਨਿੰਗ ਹੈ। ਉਦਾਹਰਣ ਵਜੋਂ:
– k-NN ਵਿੱਚ k ਚੁਣਨਾ।
- ਫੈਸਲੇ ਦੇ ਰੁੱਖ ਵਿੱਚ ਵੱਧ ਤੋਂ ਵੱਧ ਡੂੰਘਾਈ ਚੁਣੋ।
- ਰਿਜ/ਲਾਸੋ ਰਿਗਰੈਸ਼ਨ ਵਿੱਚ ਨਿਯਮਤਕਰਨ ਮਾਪਦੰਡ ਨਿਰਧਾਰਤ ਕਰੋ।
– SVM ਵਿੱਚ C ਅਤੇ ਗਾਮਾ ਦਾ ਪਤਾ ਲਗਾਓ।

ਚੰਗੇ ਅਭਿਆਸ ਵਿੱਚ, ਟਿਊਨਿੰਗ ਪ੍ਰਕਿਰਿਆ ਸਿਖਲਾਈ ਡੇਟਾ 'ਤੇ ਕਰਾਸ-ਵੈਲੀਡੇਸ਼ਨ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਜਦੋਂ ਕਿ ਅੰਤਿਮ ਟੈਸਟ ਡੇਟਾ ਨੂੰ ਅੰਤਿਮ ਮੁਲਾਂਕਣ ਲਈ ਵੱਖਰਾ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ। ਇਹ ਮਾਡਲ ਦੇ ਮੁਲਾਂਕਣ ਡੇਟਾ ਵਿੱਚ ਜ਼ਿਆਦਾ ਫਿੱਟ ਹੋਣ ਕਾਰਨ "ਓਵਰ-ਆਸ਼ਾਵਾਦ" ਨੂੰ ਰੋਕਦਾ ਹੈ।

ਇੱਕ ਹੋਰ ਸਖ਼ਤ ਪਹੁੰਚ ਨੂੰ ਨੇਸਟੇਡ ਕਰਾਸ-ਵੈਲੀਡੇਸ਼ਨ ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਜੋ ਕਿ ਕਰਾਸ-ਵੈਲੀਡੇਸ਼ਨ ਦੇ ਅੰਦਰ ਕਰਾਸ-ਵੈਲੀਡੇਸ਼ਨ ਹੈ: ਬਾਹਰੀ ਲੂਪ ਮੁਲਾਂਕਣ ਲਈ ਹੈ, ਅੰਦਰੂਨੀ ਲੂਪ ਟਿਊਨਿੰਗ ਲਈ ਹੈ। ਇਹ ਖੋਜ ਵਿੱਚ ਪ੍ਰਸਿੱਧ ਹੈ ਕਿਉਂਕਿ ਇਹ ਵਧੇਰੇ ਨਿਰਪੱਖ ਪ੍ਰਦਰਸ਼ਨ ਅਨੁਮਾਨ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

ਕਰਾਸ ਵੈਲੀਡੇਸ਼ਨ ਦੇ ਫਾਇਦੇ ਅਤੇ ਸੀਮਾਵਾਂ

ਮੁੱਖ ਫਾਇਦੇ:
1. ਸਿੰਗਲ ਡਿਵੀਜ਼ਨ ਨਾਲੋਂ ਵਧੇਰੇ ਸਥਿਰ ਪ੍ਰਦਰਸ਼ਨ ਅਨੁਮਾਨ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
2. ਡੇਟਾ ਦੀ ਕੁਸ਼ਲਤਾ ਨਾਲ ਵਰਤੋਂ ਕਰੋ, ਖਾਸ ਕਰਕੇ ਜਦੋਂ ਡੇਟਾਸੈੱਟ ਛੋਟਾ ਹੋਵੇ।
3. ਇੱਕ ਹੋਰ ਆਮ ਮਾਡਲ ਚੁਣਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ ਅਤੇ ਓਵਰਫਿਟਿੰਗ ਦੇ ਜੋਖਮ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ।

ਕੇਟਰਬਾਟਾਸਨ:
1. ਸਿਖਲਾਈ ਨੂੰ ਕਈ ਵਾਰ ਦੁਹਰਾਉਣ ਨਾਲ ਗਣਨਾਤਮਕ ਲਾਗਤਾਂ ਵਧ ਜਾਂਦੀਆਂ ਹਨ।
2. ਜੇਕਰ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਸਹੀ ਢੰਗ ਨਾਲ ਨਹੀਂ ਕੀਤੀ ਜਾਂਦੀ ਤਾਂ ਵੀ ਡਾਟਾ ਲੀਕ ਹੋ ਸਕਦਾ ਹੈ।
3. ਸਮੂਹਿਕ ਡੇਟਾ (ਉਦਾਹਰਣ ਵਜੋਂ, ਮਰੀਜ਼ ਡੇਟਾ ਜਿਸ ਵਿੱਚ ਕਈ ਰਿਕਾਰਡ ਹਨ) ਲਈ, ਇੱਕ ਵਿਸ਼ੇਸ਼ ਵਿਧੀ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਜਿਵੇਂ ਕਿ ਸਮੂਹ ਕੇ-ਫੋਲਡ, ਤਾਂ ਜੋ ਇੱਕ ਵਿਅਕਤੀ ਇੱਕੋ ਸਮੇਂ ਟ੍ਰੇਨ ਅਤੇ ਟੈਸਟ ਵਿੱਚ ਨਾ ਆਵੇ।

ਕਰਾਸ ਵੈਲੀਡੇਸ਼ਨ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੇ ਚੰਗੇ ਅਭਿਆਸ

ਮੁਲਾਂਕਣ ਨੂੰ ਵੈਧ ਬਣਾਉਣ ਲਈ, ਕਈ ਮਹੱਤਵਪੂਰਨ ਸਿਧਾਂਤਾਂ ਦੀ ਪਾਲਣਾ ਕਰਨੀ ਜ਼ਰੂਰੀ ਹੈ:
- ਪੂਰੇ ਡੇਟਾ ਲਈ ਇੱਕ ਵਾਰ ਨਹੀਂ, ਸਗੋਂ ਹਰੇਕ ਫੋਲਡ ਦੇ ਅੰਦਰ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ (ਸਧਾਰਨੀਕਰਨ, ਦੋਸ਼ ਲਗਾਉਣਾ, ਵਿਸ਼ੇਸ਼ਤਾ ਚੋਣ) ਕਰੋ। ਨਹੀਂ ਤਾਂ, ਟੈਸਟ ਫੋਲਡ ਤੋਂ ਜਾਣਕਾਰੀ ਟ੍ਰੇਨ ਫੋਲਡ ਵਿੱਚ ਲੀਕ ਹੋ ਸਕਦੀ ਹੈ।
- ਅਸੰਤੁਲਿਤ ਵਰਗਾਂ ਦੇ ਨਾਲ ਵਰਗੀਕਰਨ ਲਈ ਪੱਧਰੀ k-ਫੋਲਡ ਦੀ ਵਰਤੋਂ ਕਰੋ।
- ਸਮਾਂ ਲੜੀ ਡੇਟਾ ਲਈ ਇੱਕ ਵਿਸ਼ੇਸ਼ ਸਕੀਮ ਦੀ ਵਰਤੋਂ ਕਰੋ ਤਾਂ ਜੋ ਆਰਡਰ ਦੀ ਉਲੰਘਣਾ ਨਾ ਹੋਵੇ।
- ਜੇਕਰ ਤੁਹਾਡਾ ਟੀਚਾ ਤੈਨਾਤੀ ਤੋਂ ਪਹਿਲਾਂ ਮਾਡਲ ਦੇ ਅੰਤਿਮ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨਾ ਹੈ ਤਾਂ ਅੰਤਿਮ ਟੈਸਟ ਸੈੱਟ ਨੂੰ ਪਾਸੇ ਰੱਖੋ।

ਬੰਦ ਕੀਤਾ ਜਾ ਰਿਹਾ

ਮਾਡਲ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਮੁਲਾਂਕਣ ਵਧੇਰੇ ਨਿਰਪੱਖ ਅਤੇ ਮਜ਼ਬੂਤੀ ਨਾਲ ਕਰਨ ਲਈ ਲਾਗੂ ਅੰਕੜਿਆਂ ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਵਿੱਚ ਕਰਾਸ-ਵੈਲੀਡੇਸ਼ਨ ਇੱਕ ਬੁਨਿਆਦੀ ਸਾਧਨ ਹੈ। ਵਾਰ-ਵਾਰ ਡੇਟਾ ਸ਼ੇਅਰਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਕੇ, ਕਰਾਸ-ਵੈਲੀਡੇਸ਼ਨ ਟ੍ਰੇਨ-ਟੈਸਟ ਸਪਲਿਟ ਚੋਣ ਕਾਰਨ ਹੋਣ ਵਾਲੇ ਪੱਖਪਾਤ ਨੂੰ ਘਟਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ, ਓਵਰਫਿਟਿੰਗ ਦਾ ਪਤਾ ਲਗਾਉਂਦਾ ਹੈ, ਅਤੇ ਮਾਡਲ ਚੋਣ ਅਤੇ ਹਾਈਪਰਪੈਰਾਮੀਟਰ ਟਿਊਨਿੰਗ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ। ਜਦੋਂ ਕਿ ਕੰਪਿਊਟੇਸ਼ਨਲ ਲਾਗਤ ਵੱਧ ਹੁੰਦੀ ਹੈ, ਲਾਭ ਅਕਸਰ ਇਸਦੇ ਯੋਗ ਹੁੰਦੇ ਹਨ, ਖਾਸ ਕਰਕੇ ਜਦੋਂ ਡੇਟਾਸੈਟ ਛੋਟਾ ਹੁੰਦਾ ਹੈ ਜਾਂ ਜਦੋਂ ਮਾਡਲ ਨਤੀਜਿਆਂ 'ਤੇ ਅਧਾਰਤ ਫੈਸਲਿਆਂ ਦੇ ਮਹੱਤਵਪੂਰਨ ਨਤੀਜੇ ਹੁੰਦੇ ਹਨ। ਸਹੀ ਕਿਸਮ ਦੀ ਕਰਾਸ-ਵੈਲੀਡੇਸ਼ਨ ਚੁਣ ਕੇ ਅਤੇ ਵਧੀਆ ਅਭਿਆਸਾਂ ਨੂੰ ਲਾਗੂ ਕਰਕੇ, ਅਸੀਂ ਵਧੇਰੇ ਭਰੋਸੇਮੰਦ ਮਾਡਲ ਬਣਾ ਸਕਦੇ ਹਾਂ ਜੋ ਅਸਲ-ਸੰਸਾਰ ਡੇਟਾ 'ਤੇ ਵਰਤੇ ਜਾਣ ਲਈ ਤਿਆਰ ਹਨ।