በስታቲስቲክስ ውስጥ የማስላት ዘዴዎች

በስታቲስቲክስ ውስጥ የማስላት ዘዴዎች

በስታቲስቲክስ እና በመረጃ ትንተና ልምምድ ውስጥ፣ የመረጃ መጥፋት ችግር ሁልጊዜ ማለት ይቻላል ይፈጠራል። ምላሽ ሰጪዎች የተወሰኑ ጥያቄዎችን ባለመመለሳቸው፣ ስህተቶችን በመመዝገብ፣ የዳሳሽ ጣልቃ ገብነት፣ በማውጣት ወቅት የተበላሸ መረጃ ወይም ሙሉ በሙሉ የማይዛመዱ በርካታ የውሂብ ምንጮችን በማጣመር ሂደት ምክንያት መረጃ ሊጠፋ ይችላል። በአግባቡ ካልተያዘ፣ የጠፋ መረጃ የትንታኔውን ጥራት ሊያዳክም፣ የፈተናውን ኃይል ሊቀንስ እና እንዲያውም ወደ አድልዎ መደምደሚያ ሊያመራ ይችላል። የጎደለውን መረጃ ለማስተናገድ በጣም ከተለመዱት አቀራረቦች አንዱ ኢምፓቲሽን ሲሆን ይህም የጎደሉትን እሴቶች በሚገኙ መረጃዎች ላይ ተመስርተው በተገመቱ እሴቶች መሙላትን ያካትታል።

ኢምፓቲንግ ለምን አስፈላጊ ነው?

የጎደለውን ውሂብ ከመሰረዝ ይልቅ ኢምፓቲንግ ብዙውን ጊዜ የሚመረጥባቸው በርካታ ምክንያቶች አሉ። በመጀመሪያ፣ የጎደሉ እሴቶችን የያዙ ረድፎችን/ምልከታዎችን መሰረዝ (ለምሳሌ፣ በዝርዝር-መስቀል ስረዛ) የናሙና መጠኑን በእጅጉ ሊቀንስ ይችላል፣ በተለይም የጎደለው መረጃ መቶኛ ጉልህ በሚሆንበት ጊዜ። ሁለተኛ፣ መረጃው በዘፈቀደ የማይጠፋ ከሆነ፣ ስረዛ አድልዎ ሊያመጣ ይችላል። ሦስተኛ፣ ብዙ የስታቲስቲክስ ወይም የማሽን መማሪያ ስልተ ቀመሮች የተሟላ ውሂብ ያስፈልጋቸዋል፣ ይህም ኢምፓቲንግ ምቹ የቅድመ-ሂደት እርምጃ ያደርገዋል።

ይሁን እንጂ፣ ስሌት ማለት "ክፍተቶቹን መሙላት" ብቻ አይደለም። የተመረጠው ዘዴ የጎደለውን የውሂብ ዘዴ፣ የተለዋዋጮችን አወቃቀር እና የትንታኔውን ዓላማዎች ግምት ውስጥ ማስገባት አለበት። ደካማ ስሌት ሞዴሉን "ሊያታልል"፣ ልዩነትን ሊቀንስ እና ውጤቶቹ ከእውነታው የበለጠ እርግጠኛ እንዲመስሉ ሊያደርግ ይችላል።

የጠፋ የውሂብ ዘዴ

በስታቲስቲክስ ሥነ ጽሑፍ ውስጥ፣ የጎደለው መረጃ ብዙውን ጊዜ በሦስት ዋና ዋና ዘዴዎች ይመደባል፡

1. ኤምሲአር (ሙሉ በሙሉ በዘፈቀደ የጠፋ)፡- የመረጃ መጥፋት እድል ከማንኛውም ተለዋዋጮች፣ ከተስተዋሉም ሆነ ካልተስተዋሉ ነፃ ነው። ለምሳሌ፣ በአደጋ የተጎዳ መጠይቅ።
2. MAR (በዘፈቀደ የጠፋ): የጠፋ መረጃ እድል የሚወሰነው በሚታየው ተለዋዋጭ ላይ ነው፣ ነገር ግን ለሌሎች ተለዋዋጮች ከተቆጣጠረ በኋላ በጠፋው እሴት ላይ የተመሰረተ አይደለም። ለምሳሌ፣ ወጣት ምላሽ ሰጪዎች የገቢ ጥያቄዎችን የማጣት ዕድላቸው ከፍተኛ ነው፣ ነገር ግን ዕድሜ አለ።
3. MNAR (በዘፈቀደ የማይጠፋ)፡- የመረጃ መጥፋት እድሉ የሚወሰነው በጠፋው እሴት ላይ ነው። ለምሳሌ፣ በጣም ከፍተኛ ገቢ ያላቸው ሰዎች ገቢያቸውን አይገልጹም።

ኢምፓቲንግ በአጠቃላይ በMCAR/MAR ስር የበለጠ ደህንነቱ የተጠበቀ ነው። MNAR ብዙውን ጊዜ የጎደለውን መረጃ ወይም የስሜታዊነት ትንተና በግልጽ የሚያቀርብ ሞዴል ይፈልጋል።

ቀላል የሂሳብ ስሌት ዘዴ

1. አማካይ/መካከለኛ/ሁነታ ስሌት
በጣም ቀላሉ ዘዴ የጎደሉትን እሴቶች በቁጥር ተለዋዋጮች አማካይ ወይም መካከለኛ እና ለምድባዊ ተለዋዋጮች ሁነታ መተካት ነው። ጥቅሞቹ፡ ቀላል፣ ፈጣን እና ብዙ ጊዜ እንደ መነሻ ሆኖ ያገለግላል። ጉዳቶቹ፡- ልዩነቱን ሊቀንስ እና የውሂብ ስርጭትን ሊያዛባ ይችላል፣ በተለይም መረጃው ያልተመጣጠነ ከሆነ ወይም ውጫዊ ሁኔታዎችን የያዘ ከሆነ። መካከለኛው በአጠቃላይ ከአማካይ ይልቅ ለውጭ ለሆኑ ሰዎች የበለጠ ጠንካራ ነው።

2. የማያቋርጥ ስሌት
የጎደሉ እሴቶች እንደ 0፣ -1 ወይም "ያልታወቀ" በሚለው መለያ በተወሰነ ቋሚ የተሞሉ ናቸው። ይህ እሴቱ የተወሰነ ትርጉም ሲኖረው (ለምሳሌ "ግብይት የለም")፣ ወይም ሞዴሉ የጎደለውን ለማጉላት ተጨማሪ አመልካች ሲሰጠው ጠቃሚ ነው። ሆኖም ግን፣ የዘፈቀደ ቋሚ መምረጥ የተሳሳቱ ቅጦችን ሊያመጣ ይችላል።

3. የሆት ዴክ ኢምፓኒቲንግ
በሞቃት ወለል ውስጥ፣ የጎደሉ እሴቶች የሚሞሉት ከሌሎች “ተመሳሳይ” ምልከታዎች (ለጋሾች) የተገኙ እሴቶችን በመጠቀም ነው በበርካታ ቁልፍ ተለዋዋጮች ላይ የተመሰረቱ። ይህ ዘዴ በዳሰሳ ጥናቶች ውስጥ ታዋቂ ነው። ሆት ዴኮች የውሂቡን ትክክለኛ እሴቶች ስለሚይዙ ተጨባጭ እሴቶችን ይይዛሉ፣ ነገር ግን ውጤቶቹ ለ “ተመሳሳይነት” ፍቺ ስሜታዊ ናቸው እና በናሙና መካከል ልዩነት ሊፈጥሩ ይችላሉ።

በሞዴል ላይ የተመሠረተ የሂሳብ ስሌት ዘዴ

4. የሪግሬሽን ኢምፓኒቲ
የጎደሉ እሴቶች የሚተነበዩት ከሌሎች ተለዋዋጮች የተገኘ የሪግሬሽን ሞዴል በመጠቀም ነው። ለቁጥር ተለዋዋጮች፣ መስመራዊ ሪግሬሽን ጥቅም ላይ ሊውል ይችላል፤ ለምድራዊ ተለዋዋጮች፣ ሎጂስቲክ ወይም ባለብዙ ኖሚያል ሪግሬሽን ጥቅም ላይ ሊውል ይችላል። ጥቅሙ በተለዋዋጮች መካከል ያለውን ግንኙነት መጠቀሚያ ማድረጉ ነው። ጉዳቱ ወሳኝ የተተነበዩ እሴቶችን ብቻ መጠቀም ልዩነትን የመቀነስ አዝማሚያ አለው ምክንያቱም ሁሉም የተገመቱ እሴቶች በትክክል በትንበያው መስመር ላይ ይወድቃሉ። ይህንን ለመፍታት፣ የዘፈቀደ ክፍሎች (ለምሳሌ፣ ቀሪዎች) ብዙውን ጊዜ ለበለጠ እውነታዊነት ይታከላሉ።

5. k-በጣም ቅርብ ጎረቤቶች (kNN) ኢምፓኒቲ
የkNN ዘዴ የጎደሉትን እሴቶች ይሞላል። በአቅራቢያው ባሉ የk ጎረቤቶች አማካይ (ወይም ድምጽ) ላይ በመመስረት። ቅርበት በተለምዶ የሚለካው መረጃው መደበኛ ከሆነ በኋላ በዩክሊዲያን ርቀት ወይም በሌላ መለኪያ ነው። ጥቅሞቹ ተለዋዋጭነትን እና መስመራዊ ግንኙነት አለመኖሩን ያካትታሉ። ጉዳቶች ለትላልቅ የውሂብ ስብስቦች በኮምፒውተር የሚወጣ ወጪ፣ ለተለዋዋጭ ሚዛን ስሜታዊነት እና በከፍተኛ ልኬት ውሂብ ላይ የአፈጻጸም መበላሸት (የልኬት እርግማን) ያካትታሉ።

6. የተጠበቀ-ከፍተኛ (EM)
የኢኤም አቀራረብ የሞዴል መለኪያዎችን (ለምሳሌ፣ ለብዙ ተለዋዋጭ መደበኛ ውሂብ አማካይ እና ኮቫሪየንት) ይገምታል፣ የጎደሉ እሴቶችን እንደ ድብቅ ተለዋዋጮች በመቁጠር። ደረጃ ኢ በአሁኑ መለኪያዎች ላይ በመመስረት የጠፉ እሴቶችን ግምት ደጋግሞ ያሰላል፣ እና ደረጃ M በሚጠበቀው “ሙሉ” መረጃ ላይ በመመስረት መለኪያዎችን ያዘምናል። ኢኤም ለተወሰኑ የስርጭት ግምቶች ጠንካራ ነው፣ ነገር ግን ውስብስብ ሊሆን ይችላል እና በሞዴል ግምቶች ትክክለኛነት ላይ የተመሠረተ ነው።

ባለብዙ ስሌት፡- በብዙ አጋጣሚዎች የወርቅ ደረጃ

7. ባለብዙ ስሌት (MI)
ባለብዙ ስሌት (Multiple Imputation) ለ MAR በጣም መርህ ካላቸው አቀራረቦች አንዱ እንደሆነ ይታሰባል። አንድ ሙሉ የውሂብ ስብስብ ከማመንጨት ይልቅ፣ MI እርግጠኛ አለመሆንን የሚያንፀባርቁ የተለያዩ ግምቶችን በመጠቀም በርካታ የውሂብ ስብስቦችን (ለምሳሌ፣ 5-20) ያመነጫል። እያንዳንዱ የውሂብ ስብስብ ለየብቻ ይተነተናል፣ ከዚያም ውጤቶቹ የበለጠ ትክክለኛ ግምቶችን እና መደበኛ ስህተቶችን ለማግኘት የሩቢንን ደንቦች በመጠቀም ይጣመራሉ።

የኤምአይ ጥቅሞች፡
- የመቁጠር እርግጠኛ አለመሆንን ያስተናግዳል።
- ለስታቲስቲካዊ መደምደሚያ የበለጠ ትክክለኛ (የመተማመን ክፍተቶች፣ መላምት ሙከራ)።
- ለተለያዩ ተለዋዋጮች ዓይነቶች ተለዋዋጭ።

የእሱ ገደቦች፡
- የበለጠ ውስብስብ አተገባበር።
- በቂ ግምቶችን እና የስሌት ሞዴል ዝርዝሮችን ይፈልጋል።
- በMNAR ውስጥ የጎደለ ነገር ካለ፣ መደበኛ MI አሁንም አድልዎ ሊኖረው ይችላል።

የጊዜ ተከታታይ እና የቦታ ውሂብ ስሌት

በጊዜ ተከታታይ መረጃዎች ውስጥ፣ የጎደሉ እሴቶች ብዙውን ጊዜ ከቀደሙት እና ከተከታይ እሴቶቻቸው ጋር በጥብቅ የተቆራኙ ናቸው። እንደ መስመራዊ ኢንተርፖሌሽን፣ ስፕላይንስ፣ የካልማን ማጣሪያዎች ወይም የARIMA/ስቴት ስፔስ ሞዴሎች ያሉ ዘዴዎች ብዙውን ጊዜ ጥቅም ላይ ይውላሉ። ለቦታ መረጃ፣ እንደ ክርጂንግ እና የቦታ ሞዴሎች ያሉ አቀራረቦች የጂኦግራፊያዊ ቅርበትን ሊጠቀሙ ይችላሉ። እነዚህ ዘዴዎች ጊዜያዊ/የቦታ መዋቅር የበላይ ሲሆን ውጤታማ ናቸው፣ ነገር ግን ቀላል ኢንተርፖሌሽንን ሊያሳስቱ የሚችሉ ድንገተኛ ለውጦችን (ለምሳሌ የኢኮኖሚ ድንጋጤዎች) በተመለከተ ጥንቃቄ መደረግ አለበት።

የማስላት ዘዴዎችን በመምረጥ ረገድ ጥሩ ልምዶች

1. የጎደለውን የውሂብ ፍለጋ ያካሂዱ፡ የጎደለውን እሴቶች መቶኛ፣ የጎደለውን ንድፍ እና የጎደለው ነገር ከአንድ የተወሰነ ተለዋዋጭ ጋር የተያያዘ መሆኑን ያረጋግጡ።
2. የስልጠና እና የፈተና መረጃዎችን ለይ፡- ከስልጠና መረጃ ብቻ "በመማር" ኢምፓቲንግ ያከናውኑ፣ ከዚያም የውሂብ መፍሰስን ለማስወገድ በሙከራ መረጃ ላይ ይተግብሩ።
3. የተለዋዋጭውን አይነት አስቡበት፡ ቁጥራዊ፣ ምድራዊ፣ ተራ ወይም የተቀላቀለ፤ ተገቢው ዘዴ ይለያያል።
4. የጎደለ አመልካቾችን ይጠቀሙ፡- አንዳንድ ጊዜ አንድ እሴት የጎደለው መረጃ ራሱ ትንበያ ነው፤ የአመላካች ተለዋዋጮችን መጨመር የተነበየ ሞዴል አፈጻጸምን ሊያሻሽል ይችላል።
5. የውጤት ስሌትን ተጽእኖ ገምግም፡- ከውጤት በፊት/በኋላ ያሉትን ስርጭቶች አወዳድር፣ ልዩነቱ መቀነሱን አረጋግጥ እና ሞዴሉን አረጋግጥ።
6. ለማጠቃለያ MI ቅድሚያ ይስጡ፡ የትንታኔው ግብ የፓራሜትር ግምት እና የስታቲስቲክስ ሙከራ ሲሆን፣ ብዙ ቁጥር ያላቸው ቁጥሮች ከአንድ ነጠላ ግምት ይልቅ ተገቢ ናቸው።

ከሲምፑላን

ኢምፓቲንግ የጎደለውን መረጃ ለማስተናገድ በዘመናዊ የስታቲስቲክስ የስራ ፍሰቶች ውስጥ ወሳኝ አካል ነው። እንደ አማካኝ/ሚዲያን ያሉ ቀላል ዘዴዎች እንደ መነሻ ወይም ለአነስተኛ ጉድለቶች ጠቃሚ ሊሆኑ ይችላሉ፣ ነገር ግን ብዙውን ጊዜ የውሂብ አወቃቀርን እና እርግጠኛ አለመሆንን ያበላሻሉ። እንደ ሪግሬሽን፣ kNN እና EM ያሉ በሞዴል ላይ የተመሰረቱ ዘዴዎች በተለዋዋጮች መካከል ያለውን ግንኙነት ይጠቀማሉ፣ መልቲፕል ኢምፓቲንግ ደግሞ እርግጠኛ አለመሆንን በመቁጠር ለግምታዊነት ጠንካራ ማዕቀፍ ይሰጣል። ምርጡ ዘዴ ምርጫ የሚወሰነው በጠፋው የውሂብ ዘዴ (MCAR/MAR/MNAR)፣ የትንተና ዓላማ (ትንበያ ከግምታዊ ግምት) እና የውሂብ ባህሪያት (የጊዜ ተከታታይ፣ ቦታ፣ የተቀላቀለ) ላይ ነው። በትክክለኛው አቀራረብ፣ ኢምፓቲንግ የትንተናውን ትክክለኛነት ለመጠበቅ እና የበለጠ አስተማማኝ መደምደሚያዎችን ለማምጣት ይረዳል።