វិធីសាស្ត្រនៃការដាក់បន្ទុកក្នុងស្ថិតិ
នៅក្នុងការអនុវត្តស្ថិតិ និងការវិភាគទិន្នន័យ បញ្ហានៃទិន្នន័យដែលបាត់ស្ទើរតែតែងតែកើតឡើង។ ទិន្នន័យអាចបាត់ដោយសារតែអ្នកឆ្លើយតបមិនឆ្លើយសំណួរមួយចំនួន កំហុសក្នុងការកត់ត្រា ការជ្រៀតជ្រែករបស់ឧបករណ៍ចាប់សញ្ញា ទិន្នន័យខូចអំឡុងពេលស្រង់ចេញ ឬដោយសារតែដំណើរការនៃការផ្សំប្រភពទិន្នន័យច្រើនដែលមិនត្រូវគ្នាទាំងស្រុង។ ប្រសិនបើមិនត្រូវបានដោះស្រាយឱ្យបានត្រឹមត្រូវទេ ទិន្នន័យដែលបាត់អាចធ្វើឱ្យគុណភាពនៃការវិភាគថយចុះ កាត់បន្ថយថាមពលនៃការធ្វើតេស្ត និងថែមទាំងនាំឱ្យមានការសន្និដ្ឋានលម្អៀងទៀតផង។ វិធីសាស្រ្តទូទៅបំផុតមួយក្នុងការដោះស្រាយទិន្នន័យដែលបាត់គឺការបញ្ចូលតម្លៃដែលបាត់ ដែលពាក់ព័ន្ធនឹងការបំពេញតម្លៃដែលបាត់ជាមួយនឹងតម្លៃប៉ាន់ស្មានដោយផ្អែកលើព័ត៌មានដែលមាន។
ហេតុអ្វីបានជាការដាក់ទណ្ឌកម្មមានសារៈសំខាន់?
មានហេតុផលជាច្រើនដែលការបញ្ចូលតម្លៃត្រូវបានជ្រើសរើសជាញឹកញាប់ជាជាងការលុបទិន្នន័យដែលបាត់។ ទីមួយ ការលុបជួរដេក/ការសង្កេតដែលមានតម្លៃដែលបាត់ (ឧទាហរណ៍ ការលុបតាមបញ្ជី) អាចកាត់បន្ថយទំហំគំរូយ៉ាងខ្លាំង ជាពិសេសនៅពេលដែលភាគរយនៃទិន្នន័យដែលបាត់គឺមានសារៈសំខាន់។ ទីពីរ ប្រសិនបើទិន្នន័យមិនបាត់ដោយចៃដន្យទេ ការលុបអាចបង្កើតភាពលំអៀង។ ទីបី ក្បួនដោះស្រាយស្ថិតិ ឬការរៀនម៉ាស៊ីនជាច្រើនតម្រូវឱ្យមានទិន្នន័យពេញលេញ ដែលធ្វើឱ្យការបញ្ចូលតម្លៃជាជំហានដំណើរការជាមុនងាយស្រួល។
ទោះជាយ៉ាងណាក៏ដោយ ការដាក់បន្ទុកមិនមែនគ្រាន់តែជាការ «បំពេញចន្លោះប្រហោង» នោះទេ។ វិធីសាស្ត្រដែលបានជ្រើសរើសត្រូវតែគិតគូរពីយន្តការទិន្នន័យដែលបាត់ រចនាសម្ព័ន្ធនៃអថេរ និងគោលបំណងនៃការវិភាគ។ ការដាក់បន្ទុកមិនល្អអាច «បញ្ឆោត» គំរូ កាត់បន្ថយភាពប្រែប្រួល និងធ្វើឱ្យលទ្ធផលមើលទៅប្រាកដប្រជាជាងការពិត។
យន្តការបាត់បង់ទិន្នន័យ
នៅក្នុងអក្សរសិល្ប៍ស្ថិតិ ទិន្នន័យដែលបាត់ជាធម្មតាត្រូវបានចាត់ថ្នាក់ជាយន្តការសំខាន់ៗចំនួនបី៖
១. MCAR (បាត់ទិន្នន័យទាំងស្រុងដោយចៃដន្យ)៖ ប្រូបាប៊ីលីតេនៃទិន្នន័យដែលបាត់គឺឯករាជ្យពីអថេរណាមួយ ដែលសង្កេតឃើញ ឬមិនសង្កេតឃើញ។ ឧទាហរណ៍ កម្រងសំណួរដែលខូចខាតដោយគ្រោះថ្នាក់។
២. MAR (បាត់ដោយចៃដន្យ)៖ ប្រូបាប៊ីលីតេនៃទិន្នន័យដែលបាត់អាស្រ័យលើអថេរដែលសង្កេតឃើញ ប៉ុន្តែមិនអាស្រ័យលើតម្លៃដែលបាត់ដោយខ្លួនឯងបន្ទាប់ពីការគ្រប់គ្រងអថេរផ្សេងទៀតទេ។ ឧទាហរណ៍ អ្នកឆ្លើយតបវ័យក្មេងទំនងជាខកខានសំណួរអំពីប្រាក់ចំណូល ប៉ុន្តែអាយុគឺអាចរកបាន។
៣. MNAR (បាត់មិនមែនចៃដន្យទេ)៖ ប្រូបាប៊ីលីតេនៃទិន្នន័យដែលបាត់គឺអាស្រ័យលើតម្លៃដែលបាត់។ ឧទាហរណ៍ មនុស្សដែលមានប្រាក់ចំណូលខ្ពស់ខ្លាំង ច្រើនតែមិនបង្ហាញប្រាក់ចំណូលរបស់ពួកគេទេ។
ការដាក់បន្ទុកជាទូទៅមានសុវត្ថិភាពជាងក្រោម MCAR/MAR។ MNAR ជារឿយៗតម្រូវឱ្យមានគំរូដែលពន្យល់យ៉ាងច្បាស់អំពីទិន្នន័យដែលបាត់ ឬការវិភាគភាពរសើប។
វិធីសាស្ត្រដាក់បន្ទុកសាមញ្ញ
១. ការដាក់តម្លៃមធ្យម/មេឌីយ៉ាន/ម៉ូដ
វិធីសាស្ត្រសាមញ្ញបំផុតគឺជំនួសតម្លៃដែលបាត់ដោយមធ្យមភាគ ឬមធ្យមភាគសម្រាប់អថេរលេខ និងរបៀបសម្រាប់អថេរប្រភេទ។ គុណសម្បត្តិគឺ៖ វាងាយស្រួល លឿន ហើយជារឿយៗបម្រើជាបន្ទាត់គោល។ គុណវិបត្តិគឺ៖ វាអាចកាត់បន្ថយភាពខុសគ្នា និងបង្ខូចទ្រង់ទ្រាយការចែកចាយទិន្នន័យ ជាពិសេសប្រសិនបើទិន្នន័យមិនស៊ីមេទ្រី ឬមានអថេរក្រៅប្រព័ន្ធ។ ជាទូទៅមេឌីយ៉ានមានភាពរឹងមាំជាងអថេរក្រៅប្រព័ន្ធជាងមធ្យមភាគ។
២. ការដាក់បន្ទុកជាប់ជានិច្ច
តម្លៃដែលបាត់ត្រូវបានបំពេញដោយចំនួនថេរជាក់លាក់មួយ ដូចជា 0, -1 ឬស្លាក "មិនស្គាល់"។ នេះមានប្រយោជន៍នៅពេលដែលតម្លៃមានអត្ថន័យជាក់លាក់ (ឧទាហរណ៍ "គ្មានប្រតិបត្តិការ") ឬនៅពេលដែលគំរូត្រូវការផ្តល់សូចនាករបន្ថែមដើម្បីបញ្ជាក់ពីការបាត់។ ទោះជាយ៉ាងណាក៏ដោយ ការជ្រើសរើសចំនួនថេរតាមអំពើចិត្តអាចនាំមកនូវលំនាំមិនពិត។
៣. ការដាក់បន្ទុកលើនាវាក្តៅ
នៅក្នុង hot deck តម្លៃដែលបាត់ត្រូវបានបំពេញដោយប្រើតម្លៃពីការសង្កេត "ស្រដៀងគ្នា" ផ្សេងទៀត (អ្នកបរិច្ចាគ) ដោយផ្អែកលើអថេរសំខាន់ៗជាច្រើន។ វិធីសាស្ត្រនេះមានប្រជាប្រិយភាពនៅក្នុងការស្ទង់មតិ។ Hot decks រក្សាតម្លៃជាក់ស្តែង ពីព្រោះវាចាប់យកតម្លៃជាក់ស្តែងនៃទិន្នន័យ ប៉ុន្តែលទ្ធផលគឺងាយនឹងប្រែប្រួលទៅនឹងនិយមន័យនៃ "ភាពស្រដៀងគ្នា" ហើយអាចបង្កើតភាពខុសគ្នារវាងគំរូ។
វិធីសាស្ត្រដាក់បន្ទុកផ្អែកលើគំរូ
៤. ការដាក់បន្ទុកតំរែតំរង់
តម្លៃដែលបាត់ត្រូវបានព្យាករណ៍ដោយប្រើគំរូតំរែតំរង់ដែលទទួលបានពីអថេរផ្សេងទៀត។ ចំពោះអថេរលេខ តំរែតំរង់លីនេអ៊ែរអាចត្រូវបានប្រើ។ ចំពោះអថេរប្រភេទ តំរែតំរង់ឡូជីស្ទីក ឬពហុធាអាចត្រូវបានប្រើ។ គុណសម្បត្តិគឺថាវាទាញយកប្រយោជន៍ពីទំនាក់ទំនងរវាងអថេរ។ គុណវិបត្តិគឺថាការប្រើប្រាស់តែតម្លៃព្យាករណ៍កំណត់មានទំនោរកាត់បន្ថយភាពខុសគ្នា ពីព្រោះតម្លៃដែលបានបញ្ចូលទាំងអស់ធ្លាក់យ៉ាងពិតប្រាកដនៅលើបន្ទាត់ព្យាករណ៍។ ដើម្បីដោះស្រាយបញ្ហានេះ សមាសធាតុចៃដន្យ (ឧទាហរណ៍ សំណល់) ត្រូវបានបន្ថែមជាញឹកញាប់សម្រាប់ភាពប្រាកដនិយមកាន់តែខ្លាំង។
៥. k- ការដាក់កម្រិតប្រេកង់ជិតបំផុត (kNN)
វិធីសាស្ត្រ kNN បំពេញតម្លៃដែលបាត់ដោយផ្អែកលើមធ្យមភាគ (ឬការបោះឆ្នោត) នៃអ្នកជិតខាង k ដែលនៅជិតបំផុត។ ភាពជិតជាធម្មតាត្រូវបានវាស់ដោយចម្ងាយអឺគ្លីដ ឬរង្វាស់ផ្សេងទៀតបន្ទាប់ពីទិន្នន័យត្រូវបានធ្វើធម្មតា។ គុណសម្បត្តិរបស់វារួមមានភាពបត់បែន និងការសន្មត់ថាគ្មានទំនាក់ទំនងលីនេអ៊ែរ។ គុណវិបត្តិរួមមាន ថ្លៃគណនាសម្រាប់សំណុំទិន្នន័យធំៗ ភាពរសើបចំពោះមាត្រដ្ឋានអថេរ និងការថយចុះប្រសិទ្ធភាពលើទិន្នន័យវិមាត្រខ្ពស់ (បណ្តាសានៃវិមាត្រ)។
៦. ការរំពឹងទុក-អតិបរមា (EM)
វិធីសាស្ត្រ EM ប៉ាន់ប្រមាណប៉ារ៉ាម៉ែត្រគំរូ (ឧទាហរណ៍ មធ្យមភាគ និងកូវ៉ារ្យង់សម្រាប់ទិន្នន័យធម្មតាពហុអថេរ) ដោយចាត់ទុកតម្លៃដែលបាត់ជាអថេរមិនទាន់បង្ហាញ។ ជំហានទី E គណនាម្តងហើយម្តងទៀតនូវការរំពឹងទុកនៃតម្លៃដែលបាត់ដោយផ្អែកលើប៉ារ៉ាម៉ែត្របច្ចុប្បន្ន ហើយបន្ទាប់មកជំហាន M ធ្វើបច្ចុប្បន្នភាពប៉ារ៉ាម៉ែត្រដោយផ្អែកលើទិន្នន័យ "ពេញលេញ" ដែលរំពឹងទុក។ EM មានភាពរឹងមាំចំពោះការសន្មត់ចែកចាយជាក់លាក់ ប៉ុន្តែអាចស្មុគស្មាញ និងអាស្រ័យលើភាពត្រឹមត្រូវនៃការសន្មត់គំរូ។
ការចោទប្រកាន់ច្រើន៖ ស្តង់ដារមាសក្នុងករណីជាច្រើន
៧. ការដាក់បន្ទុកច្រើនដង (MI)
ការប្រើប្រាស់ Multiple Imputation ត្រូវបានចាត់ទុកថាជាវិធីសាស្រ្តមួយក្នុងចំណោមវិធីសាស្រ្តដែលមានគោលការណ៍ច្រើនបំផុតចំពោះ MAR។ ជំនួសឱ្យការបង្កើតសំណុំទិន្នន័យពេញលេញតែមួយ MI បង្កើតសំណុំទិន្នន័យច្រើន (ឧទាហរណ៍ 5–20) ជាមួយនឹងការបញ្ចូលទិន្នន័យផ្សេងៗគ្នាដែលឆ្លុះបញ្ចាំងពីភាពមិនប្រាកដប្រជា។ សំណុំទិន្នន័យនីមួយៗត្រូវបានវិភាគដោយឡែកពីគ្នា បន្ទាប់មកលទ្ធផលត្រូវបានផ្សំដោយប្រើច្បាប់របស់ Rubin ដើម្បីទទួលបានការប៉ាន់ស្មានដែលមានសុពលភាពជាងមុន និងកំហុសស្តង់ដារ។
អត្ថប្រយោជន៍របស់ MI៖
- សម្របសម្រួលភាពមិនប្រាកដប្រជានៃការដាក់ទណ្ឌកម្ម។
– មានភាពត្រឹមត្រូវជាងមុនសម្រាប់ការសន្និដ្ឋានស្ថិតិ (ចន្លោះពេលទំនុកចិត្ត ការធ្វើតេស្តសម្មតិកម្ម)។
- អាចបត់បែនបានសម្រាប់ប្រភេទផ្សេងៗនៃអថេរ។
ដែនកំណត់របស់វា៖
- ការអនុវត្តស្មុគស្មាញជាង។
- តម្រូវឱ្យមានការសន្មត់គ្រប់គ្រាន់ និងការបញ្ជាក់លម្អិតអំពីគំរូនៃការសន្មត់។
– ប្រសិនបើមានការបាត់នៅក្នុង MNAR នោះ MI ស្តង់ដារអាចនៅតែលំអៀង។
ការបញ្ចូលសម្រាប់ស៊េរីពេលវេលា និងទិន្នន័យលំហ
នៅក្នុងទិន្នន័យស៊េរីពេលវេលា តម្លៃដែលបាត់ច្រើនតែមានទំនាក់ទំនងយ៉ាងខ្លាំងជាមួយនឹងតម្លៃមុន និងតម្លៃបន្តបន្ទាប់របស់វា។ វិធីសាស្រ្តដូចជាការបញ្ចូលលីនេអ៊ែរ ស្ព្លេន តម្រង Kalman ឬគំរូ ARIMA/State Space ត្រូវបានគេប្រើជាញឹកញាប់។ សម្រាប់ទិន្នន័យលំហ វិធីសាស្រ្តដូចជា kriging និងគំរូលំហអាចកេងចំណេញពីភាពជិតខាងភូមិសាស្ត្រ។ វិធីសាស្រ្តទាំងនេះមានប្រសិទ្ធភាពនៅពេលដែលរចនាសម្ព័ន្ធពេលវេលា/លំហគឺលេចធ្លោ ប៉ុន្តែត្រូវប្រុងប្រយ័ត្នចំពោះការផ្លាស់ប្តូរភ្លាមៗ (ឧទាហរណ៍ វិបត្តិសេដ្ឋកិច្ច) ដែលអាចធ្វើឱ្យការបញ្ចូលសាមញ្ញមានការយល់ច្រឡំ។
ការអនុវត្តល្អក្នុងការជ្រើសរើសវិធីសាស្ត្រដាក់បន្ទុក
១. ធ្វើការរុករកទិន្នន័យដែលបាត់៖ ពិនិត្យមើលភាគរយនៃតម្លៃដែលបាត់ គំរូនៃការបាត់ និងថាតើការបាត់នោះទាក់ទងនឹងអថេរជាក់លាក់ណាមួយឬអត់។
2. ញែកទិន្នន័យបណ្តុះបណ្តាល និងទិន្នន័យតេស្តឲ្យដាច់ពីគ្នា៖ អនុវត្តការសន្និដ្ឋានដោយ "ការរៀនសូត្រ" ពីទិន្នន័យបណ្តុះបណ្តាលតែប៉ុណ្ណោះ បន្ទាប់មកអនុវត្តវាទៅទិន្នន័យតេស្ត ដើម្បីជៀសវាងការលេចធ្លាយទិន្នន័យ។
៣. ពិចារណាប្រភេទអថេរ៖ លេខ ចាត់ថ្នាក់ លំដាប់ ឬលាយ; វិធីសាស្ត្រសមស្របគឺខុសគ្នា។
៤. ប្រើប្រាស់សូចនាករនៃការបាត់៖ ពេលខ្លះព័ត៌មានដែលថាតម្លៃមួយបាត់គឺគ្រាន់តែជាការព្យាករណ៍ប៉ុណ្ណោះ។ ការបន្ថែមអថេរសូចនាករអាចធ្វើអោយប្រសើរឡើងនូវដំណើរការនៃគំរូព្យាករណ៍។
៥. វាយតម្លៃផលប៉ះពាល់នៃការបំពេញបន្ថែម៖ ប្រៀបធៀបការចែកចាយមុន/ក្រោយការបំពេញបន្ថែម ពិនិត្យមើលថាតើភាពខុសគ្នាបានថយចុះឬអត់ និងផ្ទៀងផ្ទាត់គំរូ។
៦. ផ្តល់អាទិភាពដល់ MI សម្រាប់ការសន្និដ្ឋាន៖ នៅពេលដែលគោលដៅនៃការវិភាគគឺការប៉ាន់ស្មានប៉ារ៉ាម៉ែត្រ និងការធ្វើតេស្តស្ថិតិ ការបញ្ចូលទិន្នន័យច្រើនដងច្រើនតែសមស្របជាងការបញ្ចូលទិន្នន័យតែមួយ។
សេចក្តីសន្និដ្ឋាន
ការបញ្ចូលទិន្នន័យគឺជាសមាសធាតុដ៏សំខាន់មួយនៃលំហូរការងារស្ថិតិទំនើបសម្រាប់ដោះស្រាយទិន្នន័យដែលបាត់។ វិធីសាស្ត្រសាមញ្ញៗដូចជាមធ្យម/មេឌីយ៉ានអាចមានប្រយោជន៍ជាមូលដ្ឋាន ឬសម្រាប់ការបាត់ទិន្នន័យតូចៗ ប៉ុន្តែជារឿយៗធ្វើឱ្យខូចរចនាសម្ព័ន្ធទិន្នន័យ និងភាពមិនប្រាកដប្រជា។ វិធីសាស្ត្រផ្អែកលើគំរូដូចជាតំរែតំរង់ kNN និង EM ទាញយកប្រយោជន៍ពីទំនាក់ទំនងរវាងអថេរ ខណៈពេលដែលការបញ្ចូលទិន្នន័យច្រើនផ្តល់នូវក្របខ័ណ្ឌរឹងមាំសម្រាប់ការសន្និដ្ឋានដោយរាប់បញ្ចូលភាពមិនប្រាកដប្រជា។ ជម្រើសនៃវិធីសាស្ត្រល្អបំផុតអាស្រ័យលើយន្តការទិន្នន័យដែលបាត់ (MCAR/MAR/MNAR) គោលបំណងវិភាគ (ការព្យាករណ៍ទល់នឹងការសន្និដ្ឋាន) និងលក្ខណៈនៃទិន្នន័យ (ស៊េរីពេលវេលា លំហ លាយ)។ ជាមួយនឹងវិធីសាស្រ្តត្រឹមត្រូវ ការបញ្ចូលទិន្នន័យជួយរក្សាភាពសុចរិតនៃការវិភាគ និងផ្តល់នូវការសន្និដ្ឋានដែលអាចទុកចិត្តបានកាន់តែច្រើន។
