සංඛ්‍යාලේඛනවල දත්ත දෘශ්‍යකරණ ශිල්පීය ක්‍රම
දත්ත දෘශ්‍යකරණය නූතන සංඛ්‍යාලේඛනවල තීරණාත්මක අංගයකි. සමීක්ෂණ, අත්හදා බැලීම්, ඩිජිටල් ගනුදෙනු සහ සංවේදක වලින් ලැබෙන දත්ත බහුල වීම මධ්‍යයේ, ප්‍රධාන අභියෝගය වන්නේ සංඛ්‍යා බිඳ දැමීම පමණක් නොව, ඒවා පිටුපස ඇති අර්ථය ප්‍රකාශ කිරීමයි. දත්ත දෘශ්‍යකරණය පැමිණෙන්නේ මෙහිදීය: අමු දත්ත තේරුම් ගත හැකි සංදර්ශක බවට පරිවර්තනය කිරීම, රටා සොයා ගැනීමට, විෂමතා හඳුනා ගැනීමට, කණ්ඩායම් සංසන්දනය කිරීමට සහ සාක්ෂි මත පදනම් වූ තීරණ ගැනීමට සහාය වීම. මෙම ලිපියෙන් සංඛ්‍යාලේඛනවල පොදු දත්ත දෘශ්‍යකරණ ශිල්පීය ක්‍රම, ඒවායේ අරමුණු සහ දෘශ්‍යකරණයන් නොමඟ යවන නොවන බව සහතික කිරීම සඳහා වන මූලධර්ම සාකච්ඡා කෙරේ.
1. සංඛ්‍යාලේඛනවල දත්ත දෘශ්‍යකරණයේ කාර්යභාරය
සංඛ්‍යාලේඛන වලදී, විශ්ලේෂණයේ අදියර කිහිපයකදී දෘශ්‍යකරණය භාවිතා වේ. පළමුව, ගවේෂණාත්මක දත්ත විශ්ලේෂණය (EDA) අතරතුර, ආකෘතියක් ගොඩනැගීමට පෙර විචල්‍යයන් අතර ව්‍යාප්තිය, විචලනය, බාහිර සාධක සහ සම්බන්ධතා තේරුම් ගැනීමට ප්‍රස්ථාර විශ්ලේෂකයින්ට උපකාරී වේ. දෙවනුව, ප්‍රතිඵල සන්නිවේදනය කිරීමට දෘශ්‍යකරණය භාවිතා කරයි: පර්යේෂණ වාර්තා, ව්‍යාපාර ඉදිරිපත් කිරීම් සහ විද්‍යාත්මක ප්‍රකාශන සඳහා ප්‍රධාන සොයාගැනීම් ඉක්මනින් ග්‍රහණය කර ගැනීම සඳහා පැහැදිලි ප්‍රස්ථාර අවශ්‍ය වේ. තෙවනුව, ආකෘති වලංගුකරණය සඳහා දෘශ්‍යකරණය ද ඉතා වැදගත් වේ, උදාහරණයක් ලෙස, අවශේෂ බිම් කොටස්, පුරෝකථනය කරන ලද-එදිරිව-සැබෑ බිම් කොටස් හෝ වෙනත් රෝග විනිශ්චය ප්‍රස්ථාර හරහා.
වෙනත් වචන වලින් කිවහොත්, දත්ත දෘශ්‍යකරණය යනු වාර්තාවල "සැරසිලි" පමණක් නොව, සංඛ්‍යානමය නිගමනවල ගුණාත්මක භාවයට බලපෑම් කරන විශ්ලේෂණාත්මක මෙවලමකි.
2. ඒකවිචල්‍ය දත්ත සඳහා දෘශ්‍යකරණ ශිල්පීය ක්‍රම (එක් විචල්‍යයක්)
විශ්ලේෂණයේ අවධානය එක් විචල්‍යයකට පමණක් වන විට, ප්‍රධාන ඉලක්කය වන්නේ ව්‍යාප්තියේ හැඩය , දත්ත මධ්‍යස්ථානය සහ එහි ව්‍යාප්තිය තේරුම් ගැනීමයි.
අ. හිස්ටෝග්‍රෑම්
හිස්ටෝග්‍රෑම් එකක් මඟින් දත්ත අන්තරයන්ට (බින්) බෙදීමෙන් සංඛ්‍යාත්මක දත්ත ව්‍යාප්තිය පෙන්වයි. හිස්ටෝග්‍රෑම් එකකින්, දත්ත සමමිතිකද, දකුණට හෝ වමට ඇලවී තිබේද, නැතහොත් එක් උච්චයකට වඩා තිබේද (බහුමාධ්‍ය) යන්න අපට තීරණය කළ හැකිය. බින් ගණන තෝරා ගැනීම ඉතා වැදගත් වේ: ඉතා අඩු බින් ගණනකින් විස්තර සැඟවිය හැකි අතර, ඕනෑවට වඩා බින් ගණනකින් ප්‍රස්ථාරය ඝෝෂාකාරී විය හැකිය.
b. කොටු සටහන (කොටු රූප සටහන)
මධ්‍යන්‍ය, චතුර්ථක සහ බාහිර සංඛ්‍යා භාවිතා කරමින් දත්ත සාරාංශගත කිරීමට කොටු සටහනක් භාවිතා කරයි. විචලනය සහ බාහිර සංඛ්‍යා ඉක්මනින් හඳුනා ගැනීම සඳහා මෙම තාක්ෂණය ඉතා ප්‍රයෝජනවත් වේ. සංඛ්‍යාලේඛනවල, කොටු සටහන් යනු ඒවායේ සංයුක්තතාවය හේතුවෙන් කණ්ඩායම් අතර බෙදාහැරීම් සංසන්දනය කිරීම සඳහා සම්මත මෙවලමකි.
c. ඝනත්ව සටහන (ඝනත්ව වක්‍රය)
ඝනත්ව වක්‍රයක් හිස්ටෝග්‍රෑම් එකකට සමාන නමුත් වඩාත් සුමට වේ. මෙම දෘශ්‍යකරණය බින් තේරීම මත දැඩි ලෙස රඳා නොසිට ව්‍යාප්තියක හැඩය පෙන්වීමට උපකාරී වේ. ඝනත්ව සටහන් බොහෝ විට තනි ප්‍රස්ථාරයක බෙදාහැරීම් දෙකක් සංසන්දනය කිරීමට භාවිතා කරයි.
ඈ. තීරු ප්‍රස්ථාරය වර්ගීකරණ දත්ත
වර්ගීකරණ විචල්‍යයන් සඳහා (උදා: ස්ත්‍රී පුරුෂ භාවය, අධ්‍යාපන මට්ටම, නිෂ්පාදන කාණ්ඩය), තීරු ප්‍රස්ථාර වඩාත් කැමති තේරීම වේ. පහසුවෙන් කියවීම සඳහා කාණ්ඩ අක්ෂ තාර්කිකව (උදා: ස්වාභාවික අනුපිළිවෙල හෝ සංඛ්‍යාතය අනුව) සකසා ඇති බවට වග බලා ගන්න.
3. අන්තර් කණ්ඩායම් සංසන්දනය සඳහා දෘශ්‍යකරණ ශිල්පීය ක්‍රම
බොහෝ සංඛ්‍යානමය අධ්‍යයනයන්හිදී, අපට කණ්ඩායම් අනුව දත්ත සංසන්දනය කිරීමට අවශ්‍ය වේ (උදා: ප්‍රතිකාර එදිරිව පාලනය, කලාපය A එදිරිව B, හෝ බහු පන්ති).
අ. කණ්ඩායමකට කොටු සටහන
මධ්‍යන්‍ය, ව්‍යාප්ති සහ කණ්ඩායම් අතර බාහිර අගයන් සංසන්දනය කිරීම සඳහා කොටු සටහන් ඉතා ඵලදායී වේ. බොහෝ කණ්ඩායම් තිබේ නම්, ලේබල් වඩාත් පැහැදිලි කිරීම සඳහා අක්ෂ භ්‍රමණය කිරීම හෝ තිරස් දිශානතියක් භාවිතා කිරීම සලකා බලන්න.
ආ. වයලීන කුමන්ත්‍රණය
වයලීන සටහනක්, කොටු සටහනක් සහ ඝනත්ව වක්‍රයක් ඒකාබද්ධ කර සාරාංශයක් සහ ව්‍යාප්තියක හැඩය යන දෙකම පෙන්වයි. කණ්ඩායම් වෙනස්කම් විවිධ ව්‍යාප්ති හැඩතල නිසා ඇති දැයි තීරණය කිරීමට අපට අවශ්‍ය වූ විට මෙය ප්‍රයෝජනවත් වේ.
c. දෝෂ තීරු සහිත මධ්‍යන්‍ය/ලක්ෂ්‍ය ප්‍රස්තාරය
වඩාත් අනුමාන සන්නිවේදනයක් සඳහා, දෝෂ තීරු සමඟ මධ්‍යන්‍යය සටහන් කරන්න (උදා. සම්මත අපගමනය, සම්මත දෝෂය, හෝ විශ්වාසනීය පරතරය) මධ්‍යන්‍යයේ ඇස්තමේන්තුව සහ එහි අවිනිශ්චිතතාවය අවධාරණය කරයි. කෙසේ වෙතත්, මෙම තාක්ෂණයට ප්‍රවේශම් වීම අවශ්‍ය වේ: මධ්‍යන්‍යයට අසමමිතික හෝ බහුමාධ්‍ය බෙදාහැරීම් ආවරණය කළ හැකිය.
4. විචල්‍ය දෙකක් අතර සම්බන්ධතාවය සඳහා දෘශ්‍යකරණ ශිල්පීය ක්‍රම (ද්විවිධ)
ද්විවිචල්‍ය විශ්ලේෂණයේ අරමුණ වන්නේ සංඛ්‍යාත්මක-සංඛ්‍යාත්මක, සංඛ්‍යාත්මක-වර්ගීකරණ හෝ වර්ගීකරණ-වර්ගීකරණ යන විචල්‍ය දෙකක් අතර සම්බන්ධතාවය තේරුම් ගැනීමයි.
a. විසිරුම් සටහන (විසිරුම් රූප සටහන)
සංඛ්‍යාත්මක විචල්‍ය දෙකක් සඳහා විසිරුම් සටහනක් වඩාත් පොදු තේරීම වේ. එය රේඛීය, රේඛීය නොවන, පොකුරු රටා සහ පිටස්තර පෙන්වයි. උසස් විශ්ලේෂණය සඳහා, ප්‍රවණතා පැහැදිලි කිරීම සඳහා විසිරුම් සටහන් බොහෝ විට ප්‍රතිගාමී රේඛා හෝ සුමට කිරීම (උදා: LOESS) සමඟ අතිරේක කරනු ලැබේ.
ආ. කාල ශ්‍රේණි දත්ත සඳහා රේඛා සටහන
සංඛ්‍යාත්මක විචල්‍යයක් කාලයත් සමඟ වෙනස් වුවහොත්, රේඛා ප්‍රස්ථාරයක් ප්‍රවණතා, සෘතුමයභාවය සහ කරල් හඳුනා ගැනීමට උපකාරී වේ. කාල ශ්‍රේණි සංඛ්‍යාලේඛනවලදී, මෙම සටහන බොහෝ විට ARIMA ආකෘතිකරණය, ඝාතීය සුමට කිරීම හෝ වෙනත් ආකෘති වලට පෙර භාවිතා වේ.
c. කාණ්ඩ හෝ න්‍යාස සඳහා තාප සිතියම
තාප සිතියම් හදිසි වගු හෝ සහසම්බන්ධතා අනුකෘති සඳහා සුදුසු වේ. වර්ණ අගයන්හි තීව්‍රතාවය හෝ විශාලත්වය නියෝජනය කරයි. මෙම තාක්ෂණය විශාල දත්ත කට්ටල සඳහා ඵලදායී වේ, නමුත් වැරදි අර්ථකථන වළක්වා ගැනීම සඳහා වර්ණ පටිපාටිය සුදුසු පරිදි තෝරා ගත යුතුය.
5. බහුවිචල්‍ය දෘශ්‍යකරණ ශිල්පීය ක්‍රම (විචල්‍ය දෙකකට වඩා)
දත්තවලට බහු විචල්‍යයන් ඇතුළත් වන විට, අභියෝගය වන්නේ ප්‍රස්ථාරය ඕනෑවට වඩා සංකීර්ණ නොකර තොරතුරු ප්‍රදර්ශනය කිරීමයි.
අ. වර්ණය/ප්‍රමාණය/හැඩය සහිත විසිරුම් බිම් කොටස
ස්කැටර්ප්ලොට් එකකට වර්ණය (වර්ගීකරණය), තිත් ප්‍රමාණය (සංඛ්‍යාත්මක) හෝ හැඩය (වර්ගීකරණය) භාවිතයෙන් අමතර විචල්‍යයන් පෙන්විය හැක. මෙම තාක්ෂණය බලවත් ය, නමුත් එයට පුරාවෘත්තය පැහැදිලි බවත් දෘශ්‍ය වෙනස්කම් ඉතා සියුම් නොවන බවත් සහතික කිරීම අවශ්‍ය වේ.
ආ. මුහුණත් (කුඩා ගුණාකාර)
මුහුණුවර යෙදීම මඟින් එකම ප්‍රස්ථාරය කාණ්ඩ මත පදනම්ව බහු පැනල් වලට බෙදා ඇත (උදා: කලාපය අනුව හෝ නිෂ්පාදන වර්ගය අනුව). මෙය බොහෝ විට තනි ප්‍රස්ථාරයකට ඕනෑවට වඩා තොරතුරු තද කිරීමට වඩා ඵලදායී වේ.
c. යුගල බිම් කොටස / විසිරුම් බිම් කොටස අනුකෘතිය
ස්කැටර්ප්ලොට් අනුකෘතියක් සියලුම සංඛ්‍යාත්මක විචල්‍ය යුගල තනි ජාලයක පෙන්වයි. මෙය විචල්‍යයන් අතර සම්බන්ධතා, ශක්තිමත් සහසම්බන්ධතා හෝ පොකුරු රටා හඳුනා ගැනීමට උපකාරී වේ. මෙම තාක්ෂණය EDA සඳහා විශිෂ්ටයි, විශේෂයෙන් පෙර ප්‍රතිගාමී විශ්ලේෂණය හෝ යන්ත්‍ර ඉගෙනීම.
ඈ. PCA ද්වි-කලාප සටහන හෝ මාන අඩු කිරීමේ සටහන
බොහෝ විශේෂාංග සහිත දත්ත කට්ටල සඳහා, PCA, t-SNE, හෝ UMAP වැනි මාන අඩු කිරීම මඟින් පොකුරු දෘශ්‍යමාන කිරීම සඳහා දත්ත 2D වෙත සිතියම්ගත කළ හැකිය. සංඛ්‍යාලේඛනවලදී, PCA ද්වි-කථාංගයකට විචල්‍යයන්ගේ දායකත්වය ද පෙන්විය හැකිය ප්‍රධාන සංරචකකෙසේ වෙතත්, මානයන් අඩු කිරීමේ ප්‍රතිඵල ප්‍රවේශමෙන් අර්ථ නිරූපණය කළ යුත්තේ සම්පීඩනය අතරතුර සමහර තොරතුරු "නැති වී යන" බැවිනි.
6. හොඳ දෘශ්‍යකරණයන් නිර්මාණය කිරීමේ මූලධර්ම
හොඳ දෘශ්‍යකරණ තාක්ෂණයක් නිර්මාණය නිවැරදි නොවේ නම් එය තවමත් හානිකර විය හැකිය. සංඛ්‍යාලේඛන සන්දර්භය තුළ වැදගත් මූලධර්ම කිහිපයක් මෙන්න:
1. ඔබේ දත්ත වර්ගයට සහ ප්‍රශ්නයට ගැලපෙන ප්‍රස්ථාරයක් තෝරන්න. බොහෝ කාණ්ඩ සඳහා හෝ කුඩා වෙනස්කම් සංසන්දනය කිරීමට පයි ප්‍රස්ථාරයක් භාවිතා නොකරන්න.
2. අක්ෂ පරිමාණයන් අවංකව භාවිතා කරන්න. අක්ෂ කපා දැමීම (උදා: y-අක්ෂය බිංදුවෙන් ආරම්භ නොවේ) දෘශ්‍යමය වශයෙන් වෙනස්කම් විශාලනය කළ හැකිය. මෙය සමහර විට පිළිගත හැකි නමුත්, එයට සන්දර්භය සහ සාධාරණීකරණය ලබා දිය යුතුය.
3. වර්ණය කෙරෙහි අවධානය යොමු කරන්න. වර්ණ අන්ධතාවයට හිතකර පලත් පුවරුවක් භාවිතා කර දුෂ්කර වර්ණ සංයෝජන වළක්වා ගන්න.
4. පැහැදිලි ලේබල සහ මූලාශ්‍ර සපයන්න. මාතෘකාව, පුරාවෘත්තය, ඒකක සහ සිරස්තල සම්පූර්ණ විය යුතු අතර එමඟින් ප්‍රස්ථාරය තනිවම පැවතිය හැකිය.
5. අදාළ තැන්වල අවිනිශ්චිතභාවය පෙන්වන්න. තුළ අනුමාන සංඛ්‍යාලේඛන, විශ්වාසනීය අන්තරයන්, පුරෝකථන කලාප හෝ දෝෂ තීරු පෙන්වීම තනි සංඛ්‍යා පෙන්වීමට වඩා බොහෝ තොරතුරු සපයයි.
6. "ප්‍රස්ථාර කුණු" වලින් වළකින්න. ත්‍රිමාණ ප්‍රයෝග, අධික සැරසිලි හෝ අනවශ්‍ය අනුක්‍රමණයන් ප්‍රධාන පණිවිඩයෙන් අවධානය වෙනතකට යොමු කළ හැකිය.
7. සංඛ්‍යානමය දෘශ්‍යකරණයේ පොදු වැරදි
සමහර වැරදි පොදු වන අතර පාඨකයින් නොමඟ යැවිය හැකිය:
– මධ්‍යන්‍යය හෝ ව්‍යාප්තිය නොපෙන්වා බෙහෙවින් ඇලවූ දත්ත සඳහා මධ්‍යන්‍යය භාවිතා කිරීම.
– බොහෝ කාණ්ඩ ඒකාබද්ධ කිරීම ප්‍රස්ථාරය කියවීමට අපහසු කරයි.
– දත්ත ප්‍රමාණය බෙහෙවින් වෙනස් නම් කණ්ඩායම් සංසන්දනයන් පක්ෂග්‍රාහී විය හැකි වුවද නියැදි ප්‍රමාණය නොපෙන්වයි.
– සහසම්බන්ධය පමණක් පෙන්වන විසිරුම් බිම් කොටස් වලින් හේතුඵල නිගමන උකහා ගැනීම.
8. නිගමනය
සංඛ්‍යාලේඛනවල දත්ත දෘශ්‍යකරණ ශිල්පීය ක්‍රම දත්ත අවබෝධය, විශ්ලේෂණ අරමුණු සහ සන්නිවේදන කුසලතා ඒකාබද්ධ කරයි. හිස්ටෝග්‍රෑම්, කොටු සටහන්, විසිරුම් සටහන්, රේඛා ප්‍රස්ථාර, තාප සිතියම් සහ මුහුණුවර සහ PCA වැනි බහුවිචල්‍ය ශිල්පීය ක්‍රම පවා විශ්ලේෂකයින්ට සංඛ්‍යා වගු වලින් පහසුවෙන් නොපෙනෙන දේ දැකීමට උපකාරී වේ. කෙසේ වෙතත්, හොඳ දෘශ්‍යකරණයන් හුදෙක් "ලස්සන" පමණක් නොව නිවැරදි, අවංක සහ ඔවුන්ට පිළිතුරු දීමට අවශ්‍ය ප්‍රශ්න කෙරෙහි අවධානය යොමු කරයි.
නිවැරදි ශිල්පීය ක්‍රම සහ ශබ්ද නිර්මාණ මූලධර්ම යෙදීමෙන්, දත්ත දෘශ්‍යකරණය පර්යේෂකයන්ගේ සිට ප්‍රතිපත්ති සම්පාදකයින් දක්වා විවිධ ප්‍රේක්ෂකයින් සඳහා සංකීර්ණ සංඛ්‍යානමය විශ්ලේෂණය සහ පහසු අවබෝධය අතර බලවත් පාලමක් විය හැකිය .
ඔබ කැමති නම්, මට මෙම ලිපිය වඩාත් ශාස්ත්‍රීය (උපුටා දැක්වීම් සහිතව) අනුවර්තනය කළ හැකිය, සිද්ධි උදාහරණ එකතු කළ හැකිය, නැතහොත් Excel, R, හෝ Python වැනි නිශ්චිත මෘදුකාංග කෙරෙහි අවධානය යොමු කරන අනුවාදයක් නිර්මාණය කළ හැකිය.
