ለመረጃ ሳይንቲስቶች ስታቲስቲክስ
ስታቲስቲክስ የውሂብ አሰባሰብን፣ ትንተናን፣ ትርጓሜን፣ አቀራረብን እና አደረጃጀትን የሚያጠና ሳይንሳዊ ዲሲፕሊን ነው። ለመረጃ ሳይንቲስት፣ ስታቲስቲክስ ወሳኝ መሠረት ነው። የውሂብ ሳይንቲስቶች የተሻለ የውሳኔ አሰጣጥን ሊያመጡ የሚችሉ ግንዛቤዎችን ለማመንጨት ከተለያዩ የውሂብ ዓይነቶች ጋር ይሰራሉ። ስለዚህ፣ የስታቲስቲክስ ፅንሰ-ሀሳቦችን በጥልቀት መረዳት አስፈላጊ ነው። በዚህ ጽሑፍ ውስጥ፣ ለመረጃ ሳይንቲስቶች ተዛማጅነት ያላቸውን አንዳንድ ቁልፍ የስታቲስቲክስ ፅንሰ-ሀሳቦችን እንወያያለን።
የስታቲስቲክስ መግቢያ
ስታትስቲክስ በሁለት ዋና ዋና ቅርንጫፎች የተከፈለ ነው፡ ገላጭ ስታቲስቲክስ እና ማጣቀሻ ስታቲስቲክስ። ገላጭ ስታቲስቲክስ አሁን ያለውን መረጃ ለማጠቃለል እና ለመግለጽ ያለመ ሲሆን፣ ማጣቀሻ ስታቲስቲክስ ደግሞ መረጃን ይተረጉማል እና አጠቃላይ መረጃዎችን ወይም ትንበያዎችን በናሙና መረጃ ላይ በመመስረት ያደርጋል።
ገላጭ ስታቲስቲክስ
ገላጭ ስታቲስቲክስ የውሂብ ስብስብን ዋና ዋና ባህሪያት ለመረዳት እና ለመግለጽ ይረዳል። በማብራሪያ ስታቲስቲክስ ውስጥ ካሉት ዋና ዋና ቴክኒኮች መካከል የሚከተሉት ይገኙበታል፡
1. ማዕከላዊነት መለኪያ፡
– አማካይ (አማካይ): የአንድ የእሴቶች ስብስብ የሂሳብ አማካይ።
– መካከለኛ፡ የተደረደረው መረጃ መካከለኛ እሴት።
– ሁነታ፡ በውሂብ ውስጥ በብዛት የሚታየው እሴት።
2. የተበታተነ መጠን፡
– ክልል፡- በከፍተኛ እና ዝቅተኛ እሴቶች መካከል ያለው ልዩነት።
– ልዩነት፡- የእሴቶች ከአማካይ ልዩነቶች ካሬዎች ድምር አማካይ።
– መደበኛ መዛባት፡- የልዩነቱ ካሬ ሥር፣ የውሂብ ስርጭትን ሀሳብ የሚሰጥ።
3. የድግግሞሽ ስርጭት፡- በውሂቡ ውስጥ የተወሰኑ እሴቶችን ወይም የእሴቶችን ክልል ድግግሞሽ የሚያሳይ ሰንጠረዥ ወይም ግራፍ (እንደ ሂስቶግራም ያለ)።
የማጣቀሻ ስታቲስቲክስ
በመረጃ ሳይንስ፣ ወደ አጠቃላይ የውሂብ ህዝቦች መድረስ እምብዛም አይቻለንም። ስለዚህ፣ ብዙውን ጊዜ ከመረጃ ናሙናዎች ጋር እንሰራለን እና ስለ ህዝቡ አጠቃላይ አገላለጾችን ወይም መደምደሚያዎችን ለማውጣት የማጣቀሻ ስታቲስቲክስን እንጠቀማለን። በማጣቀሻ ስታቲስቲክስ ውስጥ አንዳንድ ቁልፍ ፅንሰ ሀሳቦች የሚከተሉትን ያካትታሉ፡
1. የፓራሜትር ግምት፡
– የነጥብ ግምት፡- የሕዝብ መለኪያን ግምት አድርጎ አንድ እሴት ያቀርባል (ለምሳሌ፣ የሕዝብ አማካይ ግምትን እንደ የሕዝብ አማካይ ግምት)።
– የጊዜ ክፍተት ግምት (የመተማመን ክፍተት)፡- የተወሰነ የመተማመን ደረጃ ያለው የሕዝብ መለኪያ (ለምሳሌ፣ 95% የመተማመን ክፍተት) እንደያዙ የሚታመኑ የተለያዩ እሴቶችን ያቀርባል።
2. የሂፖቴሲስ ሙከራ፡- ስለ ህዝብ መለኪያ የሚገልጽ መግለጫ ተቀባይነት ሊኖረው ወይም ውድቅ ሊደረግ የሚችል መሆኑን የሚወስን ሂደት። የሂፖቴሲስ ምርመራ ብዙውን ጊዜ p-valueን ያካትታል፣ ይህም ባዶ መላምት እውነት እንደሆነ በማሰብ ቢያንስ ከተመለከተው እጅግ በጣም የከፋ ውጤት የማግኘት እድል ነው።
የስታቲስቲክስ ሚና በመረጃ ሳይንስ
የውሂብ ሳይንስ የሂሳብ፣ የስታቲስቲክስ፣ የፕሮግራሚንግ እና የጎራ እውቀት ክህሎቶችን በማጣመር ከውሂብ ግንዛቤዎችን ለማውጣት የሚያስችል መስክ ነው። ስታቲስቲክስ ከመጀመሪያ የውሂብ ፍለጋ እስከ ውስብስብ ትንበያ ሞዴሎች ድረስ በተለያዩ የውሂብ ሳይንቲስት ሂደት ደረጃዎች ውስጥ ማዕከላዊ ሚና ይጫወታል።
የውሂብ ፍለጋ (EDA)
የትንበያ ሞዴል ከመገንባትዎ በፊት፣ ያለንን መረጃ መረዳት አስፈላጊ ነው። የዳታ ትንተና (EDA) ቅጦችን፣ ያልተለመዱ ነገሮችን እና የውሂብ ስርጭቶችን በመለየት ረገድ ወሳኝ እርምጃ ነው። EDA የውሂቡን አወቃቀር እና ባህሪያት ለመረዳት እንደ ሂስቶግራም፣ ስትራክትፕሎቶች እና ቦክስፕሎቶች ያሉ ገላጭ ስታቲስቲክስ ቴክኒኮችን እና የውሂብ ምስላዊነትን መጠቀምን ያካትታል።
ትንበያ ሞዴሊንግ
ስታቲስቲክስ ለትንበያ ሞዴሊንግ አስፈላጊ ነው። በመረጃ ሳይንቲስቶች በተደጋጋሚ ጥቅም ላይ የሚውሉ አንዳንድ የስታቲስቲክስ ዘዴዎች የሚከተሉትን ያካትታሉ፡
1. መስመራዊ ቅነሳ፡- በአንድ ጥገኛ ተለዋዋጭ እና በአንድ ወይም ከዚያ በላይ ገለልተኛ ተለዋዋጮች መካከል ያለውን ግንኙነት መስመራዊ መስመር በመግጠም ለመቅረጽ የሚያስችል ዘዴ።
2. የሎጂስቲክ ሪግሬሽን፡- የሁለትዮሽ ጥገኛ ተለዋዋጮችን (ሁለት ምድቦች) ለመምሰል ጥቅም ላይ የሚውል ሲሆን የመከሰት እድልን በመገመት ነው።
3. የልዩነት ትንተና (ANOVA): የበርካታ ቡድኖችን መንገዶች ለማነፃፀር እና በቡድኖች መካከል ያለው ልዩነት በስታቲስቲክስ ጉልህ መሆኑን ለመወሰን የሚያስችል ዘዴ።
4. ዋና የክፍሎች ትንተና (PCA):- ከፍተኛ መረጃ ሳያጡ የውሂብ ውስብስብነትን ለመቀነስ ዳታዎችን ወደ በርካታ ዋና ዋና ክፍሎች የሚያጠቃልል የመለኪያ ቅነሳ ዘዴ።
የምክንያት መደምደሚያ
የመረጃ ሳይንቲስቶች ብዙውን ጊዜ በተለዋዋጮች መካከል ባለው ትስስር ላይ ብቻ ሳይሆን በምክንያት እና በውጤት ግንኙነቶች ላይም ፍላጎት አላቸው። የምክንያት መደምደሚያ በአንድ ተለዋዋጭ ውስጥ ያሉ ለውጦች በሌላው ተለዋዋጭ ላይ እንዴት ተጽዕኖ እንደሚያሳድሩ በመረዳት ላይ የሚያተኩር የስታቲስቲክስ ቅርንጫፍ ነው። እንደ የዘፈቀደ ቁጥጥር የተደረገባቸው ሙከራዎች (RCTs)፣ የመንገድ ትንተና እና መዋቅራዊ ሞዴሊንግ ያሉ ዘዴዎች በምክንያት ትንተና ውስጥ ኃይለኛ መሳሪያዎች ናቸው።
በውሂብ ትንተና ውስጥ ያሉ ተግዳሮቶች
ምንም እንኳን ስታቲስቲክስ ብዙ ኃይለኛ መሳሪያዎችን ቢያቀርብም፣ የእውነተኛው ዓለም የውሂብ ትንተና ብዙውን ጊዜ የተለያዩ ተግዳሮቶችን ያጋጥመዋል፣ ለምሳሌ፡
1. ያልተሟላ መረጃ፡- የጎደለ ወይም የጎደለ መረጃ የትንታኔውን ጥራት ሊቀንስ ይችላል። እንደ አማካኝ ስሌት ወይም በማሽን ትምህርት ላይ የተመሰረቱ ሞዴሎች ያሉ የማስላት ዘዴዎች ብዙውን ጊዜ የጎደለውን መረጃ ለማስተናገድ ያገለግላሉ።
2. ውጫዊ ነገሮች እና ጫጫታ፡ ውጫዊ ነገሮች ወይም ጫጫታ የያዘ መረጃ የትንታኔ ውጤቶችን ሊጎዳ ይችላል። ውጫዊ ነገሮችን ለመለየት እና ለማስተናገድ የውሂብ ጽዳት እና ውጫዊ መለየት ዘዴዎች ያስፈልጋሉ።
3. ከመጠን በላይ መገጣጠም፡- ከመጠን በላይ መገጣጠም የሚከሰተው አንድ ሞዴል በጣም ውስብስብ ሲሆን እና የስልጠናውን መረጃ የሚያሟላ ሲሆን ነገር ግን በአዲስ መረጃ ላይ ጥሩ ውጤት የማያስመዘግብ ከሆነ ነው። እንደ መደበኛነት (ላስሶ፣ ሪጅ) እና የመስቀል-ማረጋገጫ ያሉ ቴክኒኮች ከመጠን በላይ መገጣጠምን ለመፍታት ይረዳሉ።
4. ባለብዙ ኮላላይነሪቲ፡ ሁለት ወይም ከዚያ በላይ ገለልተኛ ተለዋዋጮች በከፍተኛ ሁኔታ የተሳሰሩ ሲሆኑ፣ ባለብዙ ኮላላይነሪቲ የሪግሬሽን ኮፊሸንቶችን በመገመት ረገድ ችግር ሊፈጥር ይችላል። ይህንን ችግር ለመፍታት እንደ PCA ወይም የባህሪ ምርጫ ያሉ ቴክኒኮች ጥቅም ላይ ይውላሉ።
ከሲምፑላን
ስታቲስቲክስ ለመረጃ ሳይንቲስቶች ወሳኝ መሳሪያ ነው። የስታቲስቲክስ ቴክኒኮችን በመረዳት እና በመጠቀም፣ የውሂብ ሳይንቲስቶች ጠቃሚ ግንዛቤዎችን ለማመንጨት መረጃዎችን በብቃት ማቀናበር እና መተንተን ይችላሉ። የEDA ሂደቶች፣ ትንበያ ሞዴሊንግ እና የምክንያት መደምደሚያ ሁሉም ትክክለኛ እና ተዛማጅነት ያላቸውን በመረጃ ላይ የተመሰረቱ ውሳኔዎችን ለማመንጨት በስታቲስቲክስ ላይ የተመሰረቱ ናቸው።
የውሂብ መጠን እና የትንታኔ ውስብስብነት እያደገ ሲሄድ፣ የውሂብ ሳይንቲስቶች ስለ ስታቲስቲክስ እና ስለ የቅርብ ጊዜ የውሂብ ትንተና ቴክኒኮች ያላቸውን ግንዛቤ ያለማቋረጥ ማሳደግ ወሳኝ ነው። ይህም የውሂብ ሳይንቲስቶች በፈጠራ እና በመረጃ ላይ በተመሠረተ የውሳኔ አሰጣጥ ግንባር ቀደም ሆነው እንዲቀጥሉ ያስችላቸዋል፣ ይህም ለድርጅቶች እና ለኅብረተሰቡ በአጠቃላይ ከፍተኛ አስተዋጽኦ ያደርጋል።
