தரவு விஞ்ஞானிகளுக்கான புள்ளிவிவரங்கள்

தரவு விஞ்ஞானிகளுக்கான புள்ளிவிவரங்கள்

புள்ளிவிவரவியல் என்பது தரவுகளைச் சேகரித்தல், பகுப்பாய்வு செய்தல், விளக்குதல், வழங்குதல் மற்றும் ஒழுங்கமைத்தல் ஆகியவற்றை ஆராயும் ஒரு அறிவியல் துறையாகும். ஒரு தரவு விஞ்ஞானிக்கு, புள்ளிவிவரவியல் ஒரு முக்கியமான அடித்தளமாகும். தரவு விஞ்ஞானிகள், சிறந்த முடிவெடுப்பதற்கு வழிவகுக்கும் நுண்ணறிவுகளை உருவாக்குவதற்காகப் பல்வேறு வகையான தரவுகளுடன் பணியாற்றுகிறார்கள். எனவே, புள்ளிவிவரவியல் கருத்துகளைப் பற்றிய முழுமையான புரிதல் அவசியமாகும். இந்தக் கட்டுரையில், தரவு விஞ்ஞானிகளுக்குப் பொருத்தமான சில முக்கிய புள்ளிவிவரவியல் கருத்துகளைப் பற்றி விவாதிப்போம்.

புள்ளிவிவரவியல் அறிமுகம்

புள்ளியியல், விளக்கப் புள்ளியியல் மற்றும் அனுமானப் புள்ளியியல் என இரண்டு முக்கியப் பிரிவுகளாகப் பிரிக்கப்பட்டுள்ளது. விளக்கப் புள்ளியியலானது, தற்போதுள்ள தரவுகளைச் சுருக்கி விவரிப்பதை நோக்கமாகக் கொண்டுள்ளது, அதேசமயம் அனுமானப் புள்ளியியலானது, மாதிரித் தரவுகளின் அடிப்படையில் தரவுகளைப் புரிந்துகொண்டு, பொதுமைப்படுத்தல்களையோ அல்லது கணிப்புகளையோ செய்கிறது.

விளக்கப் புள்ளிவிவரங்கள்

விளக்கப் புள்ளிவிவரங்கள் ஒரு தரவுத் தொகுப்பின் முக்கியப் பண்புகளைப் புரிந்துகொள்ளவும் விவரிக்கவும் உதவுகின்றன. விளக்கப் புள்ளிவிவரங்களில் உள்ள சில முக்கிய நுட்பங்கள் பின்வருமாறு:

1. மையப்படுத்தல் நடவடிக்கை:
சராசரி: ஒரு தொகுதி மதிப்புகளின் எண்கணிதச் சராசரி.
இடைநிலை: வரிசைப்படுத்தப்பட்ட தரவுகளின் நடு மதிப்பு.
– முகடு: தரவுகளில் மிகவும் அடிக்கடி தோன்றும் மதிப்பு.

2. பரவல் அளவு:
வீச்சு: அதிகபட்ச மற்றும் குறைந்தபட்ச மதிப்புகளுக்கு இடையிலான வேறுபாடு.
மாறுபாடு: சராசரியிலிருந்து மதிப்புகளின் விலகல்களின் வர்க்கங்களின் கூடுதலின் சராசரி.
திட்ட விலகல்: இது மாறுபாட்டின் வர்க்கமூலம் ஆகும், இது தரவுகளின் பரவலைப் பற்றிய ஒரு கருத்தை அளிக்கிறது.

3. நிகழ்வெண் பரவல்: தரவில் உள்ள குறிப்பிட்ட மதிப்புகள் அல்லது மதிப்பு வரம்புகளின் நிகழ்வெண்ணைக் காட்டும் ஒரு அட்டவணை அல்லது வரைபடம் (எடுத்துக்காட்டாக, செவ்வக வரைபடம்).

அனுமான புள்ளிவிவரங்கள்

தரவு அறிவியலில், முழுமையான தரவுத் தொகுதிகளை அணுகும் வாய்ப்பு நமக்கு அரிதாகவே கிடைக்கிறது. எனவே, நாம் பெரும்பாலும் தரவு மாதிரிகளுடன் பணிபுரிந்து, அத்தொகுதியைப் பற்றிய பொதுமைப்படுத்தல்களையோ அல்லது முடிவுகளையோ பெறுவதற்கு அனுமானப் புள்ளியியலைப் பயன்படுத்துகிறோம். அனுமானப் புள்ளியியலில் உள்ள சில முக்கியக் கருத்துகள் பின்வருமாறு:

1. அளவுரு மதிப்பீடு:
– புள்ளி மதிப்பீடு: ஒரு மக்கள்தொகை அளவுருவின் மதிப்பீடாக ஒற்றை மதிப்பை வழங்குகிறது (எ.கா., மக்கள்தொகை சராசரியின் மதிப்பீடாக மாதிரி சராசரி).
– இடைவெளி மதிப்பீடு (நம்பக இடைவெளி): ஒரு குறிப்பிட்ட அளவிலான நம்பிக்கையுடன் (எ.கா., 95% நம்பக இடைவெளி) மக்கள் தொகை அளவுருவைக் கொண்டிருப்பதாக நம்பப்படும் மதிப்புகளின் வரம்பை வழங்குகிறது.

2. கருதுகோள் சோதனை: ஒரு மக்கள்தொகை அளவுருவைப் பற்றிய கூற்றை ஏற்கலாமா அல்லது நிராகரிக்கலாமா என்பதைத் தீர்மானிக்கும் ஒரு செயல்முறை. கருதுகோள் சோதனையில் பெரும்பாலும் p-மதிப்பு அடங்கும்; பூஜ்ஜியக் கருதுகோள் உண்மையாக இருக்கும் பட்சத்தில், கவனிக்கப்பட்ட முடிவைப் போலவே அல்லது அதைவிடத் தீவிரமான ஒரு முடிவைப் பெறுவதற்கான நிகழ்தகவே p-மதிப்பு ஆகும்.

தரவு அறிவியலில் புள்ளியியலின் பங்கு

தரவு அறிவியல் என்பது தரவுகளிலிருந்து நுண்ணறிவுகளைப் பிரித்தெடுப்பதற்காகக் கணிதம், புள்ளியியல், நிரலாக்கம் மற்றும் துறைசார் அறிவுத் திறன்களை ஒருங்கிணைக்கும் ஒரு துறையாகும். ஆரம்பகட்ட தரவு ஆய்வு முதல் சிக்கலான முன்கணிப்பு மாதிரிகள் வரை, ஒரு தரவு விஞ்ஞானியின் செயல்முறையின் பல்வேறு நிலைகளில் புள்ளியியல் ஒரு மையப் பங்கை வகிக்கிறது.

தரவு ஆய்வு (EDA)

முன்கணிப்பு மாதிரியை உருவாக்குவதற்கு முன், நம்மிடம் உள்ள தரவைப் புரிந்துகொள்வது அவசியம். வடிவங்கள், முரண்பாடுகள் மற்றும் தரவுப் பரவல்களைக் கண்டறிவதில் ஆய்வுசார் தரவுப் பகுப்பாய்வு (EDA) ஒரு முக்கியப் படியாகும். தரவின் அமைப்பு மற்றும் பண்புகளைப் புரிந்துகொள்வதற்காக, விளக்கவியல் புள்ளியியல் நுட்பங்கள் மற்றும் ஹிஸ்டோகிராம்கள், சிதறல் வரைபடங்கள், பெட்டி வரைபடங்கள் போன்ற தரவுக் காட்சிப்படுத்தல்களை EDA உள்ளடக்கியுள்ளது.

முன்கணிப்பு மாதிரியாக்கம்

முன்கணிப்பு மாதிரியாக்கத்திற்குப் புள்ளியியல் இன்றியமையாதது. தரவு விஞ்ஞானிகளால் அடிக்கடி பயன்படுத்தப்படும் சில புள்ளியியல் முறைகள் பின்வருமாறு:

1. நேரியல் பின்னடைவு: சார்பு மாறிக்கும் ஒன்று அல்லது அதற்கு மேற்பட்ட சுயாதீன மாறிகளுக்கும் இடையிலான உறவை ஒரு நேர்கோட்டைப் பொருத்துவதன் மூலம் மாதிரியாக்கும் ஒரு நுட்பம்.

2. லாஜிஸ்டிக் ரெக்ரஷன்: இருநிலைச் சார்பு மாறிகளின் (இரண்டு பிரிவுகள்) நிகழ்வு நிகழ்தகவை மதிப்பிடுவதன் மூலம் அவற்றை மாதிரியாக்கப் பயன்படுகிறது.

3. மாறுபாட்டுப் பகுப்பாய்வு (ANOVA): பல குழுக்களின் சராசரிகளை ஒப்பிட்டு, குழுக்களுக்கு இடையேயான வேறுபாடுகள் புள்ளிவிவர ரீதியாக குறிப்பிடத்தக்கவையா என்பதைத் தீர்மானிக்கும் ஒரு முறை.

4. முதன்மைக் கூறுப் பகுப்பாய்வு (PCA): இது ஒரு பரிமாணக் குறைப்பு நுட்பமாகும். இது குறிப்பிடத்தக்க தகவல்களை இழக்காமல், தரவின் சிக்கலைக் குறைப்பதற்காக, தரவை பல முதன்மைக் கூறுகளாகச் சுருக்கித் தருகிறது.

காரண காரிய அனுமானம்

தரவு விஞ்ஞானிகள் பெரும்பாலும் மாறிகளுக்கு இடையேயான தொடர்புகளில் மட்டுமல்லாமல், காரண-விளைவு உறவுகளைப் புரிந்துகொள்வதிலும் ஆர்வம் காட்டுகிறார்கள். காரண காரிய அனுமானம் என்பது புள்ளியியலின் ஒரு பிரிவாகும், இது ஒரு மாறியில் ஏற்படும் மாற்றங்கள் மற்றொன்றை எவ்வாறு பாதிக்கின்றன என்பதைப் புரிந்துகொள்வதில் கவனம் செலுத்துகிறது. சமவாய்ப்பு கட்டுப்பாட்டு சோதனைகள் (RCTs), பாதை பகுப்பாய்வு மற்றும் கட்டமைப்பு மாதிரியாக்கம் போன்ற முறைகள் காரண காரிய பகுப்பாய்வில் சக்திவாய்ந்த கருவிகளாகும்.

தரவு பகுப்பாய்வில் உள்ள சவால்கள்

புள்ளியியல் பல சக்திவாய்ந்த கருவிகளை வழங்கினாலும், நிஜ உலகத் தரவுப் பகுப்பாய்வானது பின்வரும் பல்வேறு சவால்களை அடிக்கடி எதிர்கொள்கிறது:

1. முழுமையற்ற தரவு: விடுபட்ட அல்லது காணாமல் போன தரவு பகுப்பாய்வின் தரத்தைக் குறைக்கக்கூடும். விடுபட்ட தரவைக் கையாள்வதற்கு, சராசரி நிரப்புதல் அல்லது இயந்திரக் கற்றல் அடிப்படையிலான மாதிரிகள் போன்ற நிரப்புதல் முறைகள் பெரும்பாலும் பயன்படுத்தப்படுகின்றன.

2. புறத்தன்மைப் புள்ளிகள் மற்றும் இரைச்சல்: புறத்தன்மைப் புள்ளிகள் அல்லது இரைச்சலைக் கொண்ட தரவுகள், பகுப்பாய்வு முடிவுகளைப் பாதிக்கக்கூடும். புறத்தன்மைப் புள்ளிகளைக் கண்டறிந்து கையாளுவதற்கு, தரவுச் சுத்திகரிப்பு மற்றும் புறத்தன்மைப் புள்ளி கண்டறியும் நுட்பங்கள் தேவைப்படுகின்றன.

3. மிகைப்பொருத்தம்: ஒரு மாதிரி மிகவும் சிக்கலானதாக இருந்து, பயிற்சித் தரவுகளுக்குப் பொருந்தி, ஆனால் புதிய தரவுகளில் சிறப்பாகச் செயல்படாதபோது மிகைப்பொருத்தம் ஏற்படுகிறது. ஒழுங்குபடுத்தல் (லாஸ்ஸோ, ரிட்ஜ்) மற்றும் குறுக்கு-சரிபார்ப்பு போன்ற நுட்பங்கள் மிகைப்பொருத்தத்தைச் சரிசெய்ய உதவும்.

4. பன்முக நேர்கோட்டுத்தன்மை: இரண்டு அல்லது அதற்கு மேற்பட்ட சார்பற்ற மாறிகள் அதிக அளவில் தொடர்பு கொண்டிருக்கும்போது, ​​பின்னடைவுக் குணகங்களை மதிப்பிடுவதில் பன்முக நேர்கோட்டுத்தன்மை சிக்கல்களை ஏற்படுத்தக்கூடும். இந்தப் பிரச்சனையைச் சமாளிக்க PCA அல்லது பண்புக்கூறு தேர்வு போன்ற நுட்பங்கள் பயன்படுத்தப்படுகின்றன.

முடிவுரை

புள்ளிவிவரவியல் என்பது தரவு விஞ்ஞானிகளுக்கு ஒரு முக்கியமான கருவியாகும். புள்ளிவிவர நுட்பங்களைப் புரிந்துகொண்டு பயன்படுத்துவதன் மூலம், தரவு விஞ்ஞானிகள் மதிப்புமிக்க நுண்ணறிவுகளை உருவாக்க, தரவைத் திறம்படச் செயலாக்கிப் பகுப்பாய்வு செய்ய முடியும். EDA செயல்முறைகள், முன்கணிப்பு மாதிரியாக்கம் மற்றும் காரண காரிய அனுமானம் ஆகிய அனைத்தும், துல்லியமான மற்றும் பொருத்தமான தரவு சார்ந்த முடிவுகளை உருவாக்க புள்ளிவிவரவியலைச் சார்ந்துள்ளன.

தரவுகளின் அளவும் பகுப்பாய்வின் சிக்கலான தன்மையும் அதிகரிக்கும்போது, ​​தரவு விஞ்ஞானிகள் புள்ளியியல் மற்றும் சமீபத்திய தரவு பகுப்பாய்வு நுட்பங்கள் குறித்த தங்கள் புரிதலைத் தொடர்ந்து ஆழப்படுத்திக் கொள்வது இன்றியமையாதது. இது, தரவு விஞ்ஞானிகளைப் புத்தாக்கத்திலும் தரவு சார்ந்த முடிவெடுத்தலிலும் முன்னணியில் நிலைத்திருக்கவும், நிறுவனங்களுக்கும் ஒட்டுமொத்த சமூகத்திற்கும் குறிப்பிடத்தக்க பங்களிப்புகளைச் செய்யவும் வழிவகுக்கிறது.