આંકડાશાસ્ત્રમાં આરોપણ પદ્ધતિઓ
આંકડા અને ડેટા વિશ્લેષણની પ્રેક્ટિસમાં, ડેટા ગુમ થવાની સમસ્યા લગભગ હંમેશા ઊભી થાય છે. ઉત્તરદાતાઓ ચોક્કસ પ્રશ્નોના જવાબ ન આપવા, રેકોર્ડિંગ ભૂલો, સેન્સર હસ્તક્ષેપ, નિષ્કર્ષણ દરમિયાન ડેટા ભ્રષ્ટાચાર અથવા બહુવિધ ડેટા સ્ત્રોતોને જોડવાની પ્રક્રિયાને કારણે ડેટા ગુમ થઈ શકે છે જે સંપૂર્ણપણે મેળ ખાતા નથી. જો યોગ્ય રીતે હેન્ડલ ન કરવામાં આવે તો, ગુમ થયેલ ડેટા વિશ્લેષણની ગુણવત્તાને બગાડી શકે છે , પરીક્ષણની શક્તિ ઘટાડી શકે છે અને પક્ષપાતી નિષ્કર્ષ તરફ પણ દોરી શકે છે. ગુમ થયેલ ડેટાને હેન્ડલ કરવા માટેના સૌથી સામાન્ય અભિગમોમાંનો એક આરોપણ છે, જેમાં ઉપલબ્ધ માહિતીના આધારે અંદાજિત મૂલ્યો સાથે ગુમ થયેલ મૂલ્યો ભરવાનો સમાવેશ થાય છે.
આરોપણ શા માટે મહત્વપૂર્ણ છે?
ગુમ થયેલ ડેટાને કાઢી નાખવા કરતાં આરોપણનો ઉપયોગ ઘણીવાર શા માટે કરવામાં આવે છે તેના ઘણા કારણો છે. પ્રથમ, ગુમ થયેલ મૂલ્યો ધરાવતી પંક્તિઓ/અવલોકનો (દા.ત., યાદીવાર કાઢી નાખવા) કાઢી નાખવાથી નમૂનાનું કદ નાટકીય રીતે ઘટી શકે છે, ખાસ કરીને જ્યારે ગુમ થયેલ ડેટાની ટકાવારી નોંધપાત્ર હોય. બીજું, જો ડેટા રેન્ડમ રીતે ખૂટતો ન હોય, તો કાઢી નાખવાથી પૂર્વગ્રહ થઈ શકે છે. ત્રીજું, ઘણા આંકડાકીય અથવા મશીન લર્નિંગ અલ્ગોરિધમ્સને સંપૂર્ણ ડેટાની જરૂર પડે છે , જે આરોપણને એક અનુકૂળ પ્રીપ્રોસેસિંગ પગલું બનાવે છે.
જોકે, આરોપણ ફક્ત "ખાલી જગ્યાઓ ભરવા" વિશે નથી. પસંદ કરેલી પદ્ધતિમાં ગુમ થયેલ ડેટા મિકેનિઝમ, ચલોની રચના અને વિશ્લેષણના ઉદ્દેશ્યો ધ્યાનમાં લેવા જોઈએ. નબળું આરોપણ મોડેલને "મૂર્ખ" બનાવી શકે છે, ભિન્નતા ઘટાડી શકે છે અને પરિણામોને ખરેખર કરતાં વધુ ચોક્કસ દેખાડી શકે છે.
ખોવાયેલ ડેટા મિકેનિઝમ
આંકડાકીય સાહિત્યમાં, ગુમ થયેલ ડેટાને સામાન્ય રીતે ત્રણ મુખ્ય પદ્ધતિઓમાં વર્ગીકૃત કરવામાં આવે છે:
૧. MCAR (અવ્યવસ્થિત રીતે ગુમ થયેલ ડેટા): ગુમ થયેલ ડેટાની સંભાવના કોઈપણ ચલોથી સ્વતંત્ર છે, અવલોકન કરેલ છે કે નથી. ઉદાહરણ તરીકે, અકસ્માતથી ક્ષતિગ્રસ્ત પ્રશ્નાવલી.
2. MAR (રેન્ડમ પર ખૂટતું): ડેટા ગુમ થવાની સંભાવના અવલોકન કરાયેલ ચલ પર આધાર રાખે છે, પરંતુ અન્ય ચલોને નિયંત્રિત કર્યા પછી ગુમ થયેલ મૂલ્ય પર આધાર રાખતી નથી. ઉદાહરણ તરીકે, યુવાન ઉત્તરદાતાઓ આવકના પ્રશ્નો ચૂકી જવાની શક્યતા વધુ હોય છે, પરંતુ ઉંમર ઉપલબ્ધ હોય છે.
૩. MNAR (મિસિંગ નોટ એટ રેન્ડમ): ડેટા ગુમ થવાની સંભાવના ગુમ થયેલ મૂલ્ય પર જ આધાર રાખે છે. ઉદાહરણ તરીકે, ખૂબ ઊંચી આવક ધરાવતા લોકો તેમની આવક જાહેર કરતા નથી.
MCAR/MAR હેઠળ આરોપણ સામાન્ય રીતે વધુ સુરક્ષિત છે. MNAR ને ઘણીવાર એવા મોડેલની જરૂર પડે છે જે સ્પષ્ટપણે ગુમ થયેલ ડેટા અથવા સંવેદનશીલતા વિશ્લેષણ માટે જવાબદાર હોય.
સરળ આરોપણ પદ્ધતિ
૧. સરેરાશ/મધ્ય/મોડ ઇમ્પ્યુટેશન
સૌથી સરળ પદ્ધતિ એ છે કે ગુમ થયેલ મૂલ્યોને આંકડાકીય ચલો માટે સરેરાશ અથવા મધ્યક સાથે બદલવામાં આવે, અને વર્ગીકૃત ચલો માટે મોડ. ફાયદા છે: તે સરળ, ઝડપી છે અને ઘણીવાર બેઝલાઇન તરીકે સેવા આપે છે. ગેરફાયદા છે: તે ભિન્નતા ઘટાડી શકે છે અને ડેટા વિતરણને વિકૃત કરી શકે છે, ખાસ કરીને જો ડેટા અસમપ્રમાણ હોય અથવા તેમાં આઉટલાયર હોય. મધ્યક સામાન્ય રીતે સરેરાશ કરતાં આઉટલાયર સામે વધુ મજબૂત હોય છે..
2. સતત આરોપણ
ખૂટતા મૂલ્યો ચોક્કસ સ્થિરાંકથી ભરવામાં આવે છે, જેમ કે 0, -1, અથવા "અજ્ઞાત" લેબલ. આ ઉપયોગી છે જ્યારે મૂલ્યનો ચોક્કસ અર્થ હોય (દા.ત., "કોઈ વ્યવહાર નથી"), અથવા જ્યારે મોડેલને ગુમ થવાને પ્રકાશિત કરવા માટે વધારાનો સૂચક આપવાની જરૂર હોય. જો કે, મનસ્વી સ્થિરાંક પસંદ કરવાથી બનાવટી પેટર્ન રજૂ થઈ શકે છે.
3. હોટ ડેક ઇમ્પ્યુટેશન
હોટ ડેકમાં, ગુમ થયેલ મૂલ્યો ઘણા મુખ્ય ચલો પર આધારિત અન્ય, "સમાન" અવલોકનો (દાતાઓ) ના મૂલ્યોનો ઉપયોગ કરીને ભરવામાં આવે છે. આ પદ્ધતિ સર્વેક્ષણોમાં લોકપ્રિય છે. હોટ ડેક વાસ્તવિક મૂલ્યો જાળવી રાખે છે કારણ કે તેઓ ડેટાના વાસ્તવિક મૂલ્યોને કેપ્ચર કરે છે, પરંતુ પરિણામો "સમાનતા" ની વ્યાખ્યા પ્રત્યે સંવેદનશીલ હોય છે અને આંતર-નમૂના વિવિધતા ઉત્પન્ન કરી શકે છે.
મોડેલ-આધારિત આરોપણ પદ્ધતિ
4. રીગ્રેશન ઇમ્પ્યુટેશન
અન્ય ચલોના રીગ્રેશન મોડેલનો ઉપયોગ કરીને ગુમ થયેલ મૂલ્યોનું અનુમાન કરવામાં આવે છે. આંકડાકીય ચલો માટે, રેખીય રીગ્રેશનનો ઉપયોગ કરી શકાય છે; વર્ગીકૃત ચલો માટે, તેનો ઉપયોગ કરી શકાય છે. લોજિસ્ટિક રીગ્રેશન અથવા બહુપદી. ફાયદો: ચલો વચ્ચેના સંબંધોનો ઉપયોગ કરે છે. ગેરલાભ: ફક્ત નિર્ધારિત અનુમાનિત મૂલ્યોનો ઉપયોગ કરવાથી ભિન્નતા ઓછી થાય છે કારણ કે બધા આરોપિત મૂલ્યો અનુમાનિત રેખા પર બરાબર આવે છે. આને સંબોધવા માટે, વધુ વાસ્તવિકતા માટે રેન્ડમ ઘટકો (દા.ત., અવશેષો) ઘણીવાર ઉમેરવામાં આવે છે.
5. k-નજીકના પડોશીઓ (kNN) આરોપણ
kNN પદ્ધતિ k નજીકના પડોશીઓના સરેરાશ (અથવા મતદાન) ના આધારે ખૂટતા મૂલ્યોને ભરે છે. ડેટા સામાન્ય થયા પછી નિકટતા સામાન્ય રીતે યુક્લિડિયન અંતર અથવા અન્ય મેટ્રિક દ્વારા માપવામાં આવે છે. તેના ફાયદાઓમાં સુગમતા અને કોઈ રેખીય સંબંધની ધારણા શામેલ છે. ગેરફાયદામાં મોટા ડેટા સેટ માટે ગણતરીત્મક રીતે ખર્ચાળ, ચલ સ્કેલ પ્રત્યે સંવેદનશીલતા અને ઉચ્ચ-પરિમાણીય ડેટા પર પ્રદર્શન ઘટાડા (પરિમાણીયતાનો શાપ) શામેલ છે.
6. અપેક્ષા-મહત્તમીકરણ (EM)
EM અભિગમ મોડેલ પરિમાણો (દા.ત., મલ્ટિવેરિયેટ સામાન્ય ડેટા માટે સરેરાશ અને સહચલન) નો અંદાજ ગુમ થયેલ મૂલ્યોને સુષુપ્ત ચલો તરીકે ગણીને લગાવે છે. પગલું E વર્તમાન પરિમાણોના આધારે ગુમ થયેલ મૂલ્યોની અપેક્ષાની પુનરાવર્તિત ગણતરી કરે છે, અને પછી પગલું M અપેક્ષિત "સંપૂર્ણ" ડેટાના આધારે પરિમાણોને અપડેટ કરે છે. EM ચોક્કસ વિતરણ ધારણાઓ માટે મજબૂત છે, પરંતુ તે જટિલ હોઈ શકે છે અને મોડેલ ધારણાઓની શુદ્ધતા પર આધાર રાખે છે.
બહુવિધ આરોપણ: ઘણા કિસ્સાઓમાં સુવર્ણ માનક
7. બહુવિધ આરોપણ (MI)
બહુવિધ આરોપણને MAR માટે સૌથી સૈદ્ધાંતિક અભિગમોમાંનો એક માનવામાં આવે છે. એક જ સંપૂર્ણ ડેટાસેટ જનરેટ કરવાને બદલે, MI અનિશ્ચિતતાને પ્રતિબિંબિત કરતા વિવિધ આરોપણ સાથે બહુવિધ ડેટાસેટ્સ (દા.ત., 5-20) જનરેટ કરે છે. દરેક ડેટાસેટનું અલગથી વિશ્લેષણ કરવામાં આવે છે, પછી વધુ માન્ય અંદાજો અને માનક ભૂલો મેળવવા માટે રુબિનના નિયમોનો ઉપયોગ કરીને પરિણામોને જોડવામાં આવે છે.
MI ફાયદા:
- આરોપણ અનિશ્ચિતતાને સમાવે છે.
- આંકડાકીય અનુમાન માટે વધુ સચોટ (વિશ્વાસ અંતરાલ, પૂર્વધારણા પરીક્ષણ).
- વિવિધ પ્રકારના ચલો માટે લવચીક.
તેની મર્યાદાઓ:
- વધુ જટિલ અમલીકરણ.
- પર્યાપ્ત ધારણાઓ અને આરોપણ મોડેલ સ્પષ્ટીકરણોની જરૂર છે.
– જો MNAR માં કોઈ ગેરહાજરી હોય, તો પણ માનક MI પક્ષપાતી હોઈ શકે છે.
સમય શ્રેણી અને અવકાશી ડેટા માટે ગણતરી
સમય શ્રેણીના ડેટામાં, ગુમ થયેલ મૂલ્યો ઘણીવાર તેમના પહેલાના અને પછીના મૂલ્યો સાથે મજબૂત રીતે સંકળાયેલા હોય છે. રેખીય પ્રક્ષેપણ, સ્પ્લાઇન્સ, કાલમેન ફિલ્ટર્સ અથવા ARIMA/સ્ટેટ સ્પેસ મોડેલ્સ જેવી પદ્ધતિઓનો વારંવાર ઉપયોગ થાય છે. અવકાશી ડેટા માટે, ક્રિગિંગ અને અવકાશી મોડેલ્સ જેવા અભિગમો ભૌગોલિક નિકટતાનો ઉપયોગ કરી શકે છે. જ્યારે ટેમ્પોરલ/અવકાશી માળખું પ્રબળ હોય ત્યારે આ પદ્ધતિઓ અસરકારક હોય છે, પરંતુ અચાનક ફેરફારો (દા.ત., આર્થિક આંચકા) સામે સાવધાની રાખવી જોઈએ જે સરળ પ્રક્ષેપણને ગેરમાર્ગે દોરી શકે છે.
આરોપણ પદ્ધતિઓ પસંદ કરવામાં સારી પ્રથાઓ
1. ગુમ થયેલ ડેટાનું અન્વેષણ કરો: ગુમ થયેલ મૂલ્યોની ટકાવારી, ગુમ થયેલતાની પેટર્ન અને ગુમ થયેલતા કોઈ ચોક્કસ ચલ સાથે સંબંધિત છે કે કેમ તે તપાસો.
2. તાલીમ અને પરીક્ષણ ડેટા અલગ કરો: ફક્ત તાલીમ ડેટામાંથી "શીખીને" આરોપણ કરો, પછી ડેટા લીકેજ ટાળવા માટે તેને પરીક્ષણ ડેટા પર લાગુ કરો.
૩. ચલ પ્રકારનો વિચાર કરો: આંકડાકીય, વર્ગીકૃત, ક્રમાંકિત, અથવા મિશ્ર; યોગ્ય પદ્ધતિ અલગ પડે છે.
4. ગુમ થયેલતા સૂચકાંકોનો ઉપયોગ કરો: કેટલીકવાર મૂલ્ય ખૂટતું હોય તેવી માહિતી પોતે જ આગાહીત્મક હોય છે; સૂચક ચલો ઉમેરવાથી આગાહી મોડેલનું પ્રદર્શન સુધારી શકાય છે.
5. આરોપણની અસરનું મૂલ્યાંકન કરો: આરોપણ પહેલાં/પછીના વિતરણોની તુલના કરો, તપાસો કે શું ભિન્નતા ઘટી છે, અને મોડેલને માન્ય કરો.
6. અનુમાન માટે MI ને પ્રાથમિકતા આપો: જ્યારે વિશ્લેષણનો ધ્યેય પરિમાણ અંદાજ અને આંકડાકીય પરીક્ષણ હોય છે, ત્યારે બહુવિધ આરોપણ ઘણીવાર એકલ આરોપણ કરતાં વધુ યોગ્ય હોય છે.
કેસિમ્પુલન
ગુમ થયેલ ડેટાને હેન્ડલ કરવા માટે આધુનિક આંકડાકીય કાર્યપ્રવાહમાં ઇમ્પ્યુટેશન એક મહત્વપૂર્ણ ઘટક છે. સરેરાશ/મધ્યમ જેવી સરળ પદ્ધતિઓ બેઝલાઇન તરીકે અથવા નાની ગેરહાજરી માટે ઉપયોગી થઈ શકે છે, પરંતુ ઘણીવાર ડેટા માળખું અને અનિશ્ચિતતા સાથે સમાધાન કરે છે. રીગ્રેશન, kNN અને EM જેવી મોડેલ-આધારિત પદ્ધતિઓ ચલો વચ્ચેના સંબંધોનો ઉપયોગ કરે છે, જ્યારે બહુવિધ ઇમ્પ્યુટેશન અનિશ્ચિતતા માટે એકાઉન્ટિંગ દ્વારા અનુમાન માટે એક મજબૂત માળખું પૂરું પાડે છે. શ્રેષ્ઠ પદ્ધતિની પસંદગી ગુમ થયેલ ડેટા મિકેનિઝમ (MCAR/MAR/MNAR), વિશ્લેષણ ઉદ્દેશ્ય (આગાહી વિરુદ્ધ અનુમાન), અને ડેટાની લાક્ષણિકતાઓ (સમય શ્રેણી, અવકાશી, મિશ્ર) પર આધારિત છે. યોગ્ય અભિગમ સાથે, ઇમ્પ્યુટેશન વિશ્લેષણની અખંડિતતા જાળવવામાં મદદ કરે છે અને વધુ વિશ્વસનીય તારણો આપે છે.
