සංඛ්යාලේඛනවල ආරෝපණ ක්රම
සංඛ්යාලේඛන සහ දත්ත විශ්ලේෂණයේ භාවිතයේදී, දත්ත අස්ථානගත වීමේ ගැටළුව සෑම විටම පාහේ පැන නගී. ප්රතිචාර දක්වන්නන් ඇතැම් ප්රශ්නවලට පිළිතුරු නොදීම, පටිගත කිරීමේ දෝෂ, සංවේදක ඇඟිලි ගැසීම්, නිස්සාරණය අතරතුර දූෂිත දත්ත හෝ සම්පූර්ණයෙන්ම නොගැලපෙන බහු දත්ත මූලාශ්ර ඒකාබද්ධ කිරීමේ ක්රියාවලිය හේතුවෙන් දත්ත අස්ථානගත විය හැකිය. නිසි ලෙස හසුරුවා නොගතහොත්, අස්ථානගත වූ දත්ත විශ්ලේෂණයේ ගුණාත්මකභාවය පිරිහීමට, පරීක්ෂණයේ බලය අඩු කිරීමට සහ පක්ෂග්රාහී නිගමනවලට පවා හේතු විය හැක. අස්ථානගත වූ දත්ත හැසිරවීම සඳහා වඩාත් පොදු ප්රවේශයක් වන්නේ ආරෝපණයයි, එයට පවතින තොරතුරු මත පදනම්ව ඇස්තමේන්තුගත අගයන් සමඟ අස්ථානගත වූ අගයන් පිරවීම ඇතුළත් වේ.
ආරෝපණය වැදගත් වන්නේ ඇයි?
නැතිවූ දත්ත මකා දැමීමට වඩා ආරෝපණය බොහෝ විට තෝරා ගැනීමට හේතු කිහිපයක් තිබේ. පළමුව, නැතිවූ අගයන් අඩංගු පේළි/නිරීක්ෂණ මකා දැමීම (උදා: ලැයිස්තු අනුව මකා දැමීම) නියැදි ප්රමාණය විශාල ලෙස අඩු කළ හැකිය, විශේෂයෙන් නැතිවූ දත්තවල ප්රතිශතය සැලකිය යුතු විට. දෙවනුව, දත්ත අහඹු ලෙස අතුරුදහන් වී නොමැති නම්, මකාදැමීම පක්ෂග්රාහී විය හැකිය. තෙවනුව, බොහෝ සංඛ්යානමය හෝ යන්ත්ර ඉගෙනීමේ ඇල්ගොරිතම සඳහා සම්පූර්ණ දත්ත අවශ්ය වන අතර, ආරෝපණය පහසු පෙර සැකසුම් පියවරක් බවට පත් කරයි.
කෙසේ වෙතත්, ආරෝපණය යනු හුදෙක් "හිඩැස් පිරවීම" ගැන නොවේ. තෝරාගත් ක්රමය මඟින් අතුරුදහන් වූ දත්ත යාන්ත්රණය, විචල්යයන්ගේ ව්යුහය සහ විශ්ලේෂණයේ අරමුණු සැලකිල්ලට ගත යුතුය. දුර්වල ආරෝපණය මඟින් ආකෘතිය "රැවටීමට", විචලනය අඩු කිරීමට සහ ප්රතිඵල ඇත්ත වශයෙන්ම පවතින ප්රමාණයට වඩා නිශ්චිත ලෙස පෙනෙන්නට සලස්වයි.
නැතිවූ දත්ත යාන්ත්රණය
සංඛ්යානමය සාහිත්යයෙහි, අතුරුදහන් වූ දත්ත සාමාන්යයෙන් ප්රධාන යාන්ත්රණ තුනකට වර්ගීකරණය කර ඇත:
1. MCAR (අහඹු ලෙස සම්පූර්ණයෙන්ම අතුරුදහන් වීම): දත්ත අතුරුදහන් වීමේ සම්භාවිතාව නිරීක්ෂණය කරන ලද හෝ නිරීක්ෂණය නොකළ ඕනෑම විචල්යයකින් ස්වාධීන වේ. උදාහරණයක් ලෙස, අනතුරකින් හානි වූ ප්රශ්නාවලියක්.
2. MAR (අහඹු ලෙස අතුරුදහන් වීම): දත්ත අතුරුදහන් වීමේ සම්භාවිතාව නිරීක්ෂණය කරන ලද විචල්යය මත රඳා පවතී, නමුත් අනෙකුත් විචල්යයන් පාලනය කිරීමෙන් පසු අතුරුදහන් වූ අගය මත රඳා නොපවතී. උදාහරණයක් ලෙස, තරුණ ප්රතිචාර දක්වන්නන් ආදායම් ප්රශ්න මග හැරීමට වැඩි ඉඩක් ඇත, නමුත් වයස තිබේ.
3. MNAR (අහඹු ලෙස අතුරුදහන් වීම): දත්ත අතුරුදහන් වීමේ සම්භාවිතාව අතුරුදහන් වූ අගය මතම රඳා පවතී. උදාහරණයක් ලෙස, ඉතා ඉහළ ආදායම් ලබන පුද්ගලයින් තම ආදායම හෙළි නොකිරීමට නැඹුරු වෙති.
MCAR/MAR යටතේ ආරෝපණය සාමාන්යයෙන් ආරක්ෂිත වේ. MNAR සඳහා බොහෝ විට අතුරුදහන් වූ දත්ත සඳහා පැහැදිලිව ගිණුම්ගත කරන ආකෘතියක් හෝ සංවේදීතා විශ්ලේෂණයක් අවශ්ය වේ.
සරල ආරෝපණ ක්රමය
1. මධ්යන්ය/මධ්ය/ප්රකාර ආරෝපණය
සරලම ක්රමය නම් නැතිවූ අගයන් සංඛ්යාත්මක විචල්ය සඳහා මධ්යන්යය හෝ මධ්යන්යය සමඟ ප්රතිස්ථාපනය කිරීම සහ වර්ගීකරණ විචල්ය සඳහා මාදිලිය සමඟ ප්රතිස්ථාපනය කිරීමයි. වාසි වන්නේ: එය පහසු, වේගවත් වන අතර බොහෝ විට මූලික පදනමක් ලෙස ක්රියා කරයි. අවාසි නම්: එය විචලනය අඩු කර දත්ත ව්යාප්තිය විකෘති කළ හැකිය, විශේෂයෙන් දත්ත අසමමිතික නම් හෝ පිටස්තර අඩංගු නම්. මධ්යන්යය සාමාන්යයෙන් මධ්යන්යයට වඩා පිටස්තරයන්ට වඩා ශක්තිමත් වේ.
2. නිරන්තර ආරෝපණය
නැතිවූ අගයන් 0, -1 හෝ "නොදන්නා" ලේබලය වැනි නිශ්චිත නියතයකින් පුරවා ඇත. අගයට නිශ්චිත අර්ථයක් ඇති විට (උදා: "ගනුදෙනුවක් නැත"), හෝ නැතිවීම ඉස්මතු කිරීමට ආකෘතියට අමතර දර්ශකයක් ලබා දීමට අවශ්ය වූ විට මෙය ප්රයෝජනවත් වේ. කෙසේ වෙතත්, අත්තනෝමතික නියතයක් තෝරා ගැනීමෙන් ව්යාජ රටා හඳුන්වා දිය හැකිය.
3. උණුසුම් තට්ටුවේ ආරෝපණය
උණුසුම් තට්ටුවක, ප්රධාන විචල්ය කිහිපයක් මත පදනම්ව, වෙනත් "සමාන" නිරීක්ෂණ (පරිත්යාගශීලීන්) වෙතින් ලබා ගන්නා අගයන් භාවිතයෙන් අතුරුදහන් වූ අගයන් පුරවනු ලැබේ. මෙම ක්රමය සමීක්ෂණවල ජනප්රියයි. උණුසුම් තට්ටු යථාර්ථවාදී අගයන් පවත්වා ගන්නේ ඒවා දත්තවල සත්ය අගයන් ග්රහණය කර ගන්නා බැවිනි, නමුත් ප්රතිඵල "සමානතාවය" අර්ථ දැක්වීමට සංවේදී වන අතර අන්තර්-නියැදි විචලනයක් ඇති කළ හැකිය.
ආදර්ශ පාදක ආරෝපණ ක්රමය
4. ප්රතිගාමී ආරෝපණය
නැතිවූ අගයන් වෙනත් විචල්යයන්ගෙන් ලබාගත් ප්රතිගාමී ආකෘතියක් භාවිතයෙන් පුරෝකථනය කෙරේ. සංඛ්යාත්මක විචල්ය සඳහා, රේඛීය ප්රතිගාමීත්වය භාවිතා කළ හැකිය; වර්ගීකරණ විචල්ය සඳහා, ලොජිස්ටික් හෝ බහුපද ප්රතිගාමීත්වය භාවිතා කළ හැකිය. වාසිය නම් එය විචල්ය අතර සම්බන්ධතා ගසාකෑමයි. අවාසිය නම්, නියතිවාදී පුරෝකථනය කළ අගයන් පමණක් භාවිතා කිරීම විචලනය අඩු කිරීමට නැඹුරු වීමයි, මන්ද සියලු ආරෝපණය කරන ලද අගයන් හරියටම පුරෝකථන රේඛාවට වැටේ. මෙය විසඳීම සඳහා, අහඹු සංරචක (උදා: අවශේෂ) බොහෝ විට වැඩි යථාර්ථවාදයක් සඳහා එකතු කරනු ලැබේ.
5. k-ළඟම අසල්වැසියන් (kNN) ආරෝපණය
kNN ක්රමය, k ආසන්නතම අසල්වැසියන්ගේ සාමාන්යය (හෝ ඡන්දය දීම) මත පදනම්ව අස්ථානගත වූ අගයන් පුරවයි. දත්ත සාමාන්යකරණය කිරීමෙන් පසු සමීපතාවය සාමාන්යයෙන් යුක්ලීඩියානු දුර හෝ වෙනත් මෙට්රික් එකක් මගින් මනිනු ලැබේ. එහි වාසි අතර නම්යශීලී බව සහ රේඛීය සම්බන්ධතාවයක් නොමැති බවට උපකල්පනය ඇතුළත් වේ. අවාසි අතර විශාල දත්ත කට්ටල සඳහා පරිගණකමය වශයෙන් මිල අධික වීම, විචල්ය පරිමාණයට සංවේදීතාව සහ ඉහළ මාන දත්තවල කාර්ය සාධන පිරිහීම (මානතාවයේ ශාපය) ඇතුළත් වේ.
6. අපේක්ෂාව-උපරිමකරණය (EM)
EM ප්රවේශය මඟින් ආකෘති පරාමිතීන් (උදා: බහුවිචල්ය සාමාන්ය දත්ත සඳහා මධ්යන්යය සහ සහවිචල්යතාවය) ඇස්තමේන්තු කරන්නේ අතුරුදහන් වූ අගයන් ගුප්ත විචල්ය ලෙස සැලකීමෙනි. පියවර E වත්මන් පරාමිතීන් මත පදනම්ව අතුරුදහන් වූ අගයන් අපේක්ෂාව පුනරාවර්තන ලෙස ගණනය කරයි, පසුව පියවර M අපේක්ෂිත "සම්පූර්ණ" දත්ත මත පදනම්ව පරාමිතීන් යාවත්කාලීන කරයි. EM ඇතැම් බෙදාහැරීමේ උපකල්පනවලට ශක්තිමත් වේ, නමුත් සංකීර්ණ විය හැකි අතර ආකෘති උපකල්පනවල නිවැරදිභාවය මත රඳා පවතී.
බහුවිධ ආරෝපණය: බොහෝ අවස්ථාවන්හි රන් ප්රමිතිය
7. බහු ප්රතිරෝධය (MI)
බහුවිධ ආරෝපනය MAR සඳහා වඩාත්ම ප්රතිපත්තිමය ප්රවේශයක් ලෙස සැලකේ. තනි සම්පූර්ණ දත්ත කට්ටලයක් ජනනය කිරීම වෙනුවට, MI අවිනිශ්චිතතාවය පිළිබිඹු කරන විවිධ ආරෝපණ සහිත බහු දත්ත කට්ටල (උදා: 5–20) ජනනය කරයි. සෑම දත්ත කට්ටලයක්ම වෙන වෙනම විශ්ලේෂණය කර, පසුව වඩාත් වලංගු ඇස්තමේන්තු සහ සම්මත දෝෂ ලබා ගැනීම සඳහා රූබින්ගේ නීති භාවිතයෙන් ප්රතිඵල ඒකාබද්ධ කෙරේ.
MI වාසි:
– ආරෝපණ අවිනිශ්චිතතාවයට ඉඩ සලසයි.
– සංඛ්යානමය අනුමාන සඳහා වඩාත් නිවැරදි (විශ්වාසනීය කාල පරතරයන්, කල්පිත පරීක්ෂණ).
- විවිධ වර්ගයේ විචල්යයන් සඳහා නම්යශීලී.
එහි සීමාවන්:
- වඩාත් සංකීර්ණ ක්රියාත්මක කිරීම.
– ප්රමාණවත් උපකල්පන සහ ආරෝපණ ආකෘති පිරිවිතර අවශ්ය වේ.
– MNAR හි අස්ථානගතවීමක් තිබේ නම්, සම්මත MI තවමත් පක්ෂග්රාහී විය හැක.
කාල ශ්රේණි සහ අවකාශීය දත්ත සඳහා ආරෝපණය
කාල ශ්රේණි දත්ත වලදී, අතුරුදහන් වූ අගයන් බොහෝ විට ඒවායේ පෙර සහ පසු අගයන් සමඟ දැඩි ලෙස සහසම්බන්ධ වේ. රේඛීය අන්තර් පොලඹවීම, ස්ප්ලයින්, කල්මන් පෙරහන් හෝ ARIMA/State අභ්යවකාශ ආකෘති වැනි ක්රම බොහෝ විට භාවිතා වේ. අවකාශීය දත්ත සඳහා, ක්රිජින් සහ අවකාශීය ආකෘති වැනි ප්රවේශයන් භූගෝලීය සමීපත්වය ගසාකෑමට හැකිය. තාවකාලික/අවකාශීය ව්යුහය ප්රමුඛ වන විට මෙම ක්රම ඵලදායී වේ, නමුත් සරල අන්තර් පොලඹවීම නොමඟ යවන සුළු කළ හැකි හදිසි වෙනස්කම් (උදා: ආර්ථික කම්පන) වලට එරෙහිව ප්රවේශම් විය යුතුය.
ආරෝපණ ක්රම තෝරා ගැනීමේදී හොඳ පිළිවෙත්
1. නැතිවූ දත්ත ගවේෂණය සිදු කරන්න: නැතිවූ අගයන්හි ප්රතිශතය, නැතිවූ රටාව සහ නැතිවූ බව විශේෂිත විචල්යයකට සම්බන්ධද යන්න පරීක්ෂා කරන්න.
2. පුහුණු සහ පරීක්ෂණ දත්ත වෙන් කරන්න: පුහුණු දත්ත වලින් පමණක් "ඉගෙනීමෙන්" ආරෝපණය සිදු කරන්න, පසුව දත්ත කාන්දු වීම වළක්වා ගැනීම සඳහා එය පරීක්ෂණ දත්ත වලට යොදන්න.
3. සංඛ්යාත්මක, වර්ගීකරණ, සාමාන්ය හෝ මිශ්ර විචල්ය වර්ගය සලකා බලන්න; සුදුසු ක්රමය වෙනස් වේ.
4. missingness දර්ශක භාවිතා කරන්න: සමහර විට අගයක් අස්ථානගත වී ඇති තොරතුරුම අනාවැකිමය වේ; දර්ශක විචල්යයන් එකතු කිරීමෙන් අනාවැකි ආකෘතියක ක්රියාකාරිත්වය වැඩි දියුණු කළ හැකිය.
5. ආරෝපණයේ බලපෑම තක්සේරු කරන්න: ආරෝපණයට පෙර/පසු බෙදාහැරීම් සංසන්දනය කරන්න, විචලනය අඩු වී ඇත්දැයි පරීක්ෂා කරන්න, සහ ආකෘතිය වලංගු කරන්න.
6. අනුමාන සඳහා MI ප්රමුඛතාවය දෙන්න: විශ්ලේෂණයේ ඉලක්කය පරාමිති ඇස්තමේන්තු කිරීම සහ සංඛ්යානමය පරීක්ෂාව වන විට, බහු ආරෝපණය බොහෝ විට තනි ආරෝපණයට වඩා සුදුසු වේ.
නිගමනය
අස්ථානගත වූ දත්ත හැසිරවීම සඳහා නවීන සංඛ්යානමය වැඩ ප්රවාහවල තීරණාත්මක අංගයක් වන්නේ ආරෝපනයයි. මධ්යන්ය/මධ්යන්ය වැනි සරල ක්රම මූලික පදනමක් ලෙස හෝ කුඩා අස්ථානගතවීම් සඳහා ප්රයෝජනවත් විය හැකි නමුත්, බොහෝ විට දත්ත ව්යුහය සහ අවිනිශ්චිතතාවයට හානි කරයි. ප්රතිගාමීත්වය, kNN සහ EM වැනි ආකෘති පාදක ක්රම විචල්යයන් අතර සම්බන්ධතා ගසාකන අතර, බහු ආරෝපනය අවිනිශ්චිතතාවය සඳහා ගිණුම්කරණය කිරීමෙන් අනුමාන සඳහා ශක්තිමත් රාමුවක් සපයයි. හොඳම ක්රමය තෝරා ගැනීම අස්ථානගත වූ දත්ත යාන්ත්රණය (MCAR/MAR/MNAR), විශ්ලේෂණ අරමුණ (පුරෝකථනය එදිරිව අනුමානය) සහ දත්තවල ලක්ෂණ (කාල ශ්රේණි, අවකාශීය, මිශ්ර) මත රඳා පවතී. නිවැරදි ප්රවේශය සමඟ, ආරෝපනය විශ්ලේෂණයේ අඛණ්ඩතාව පවත්වා ගැනීමට උපකාරී වන අතර වඩාත් විශ්වාසදායක නිගමන ලබා දෙයි.
