পরিসংখ্যানে ইম্পিউটেশন পদ্ধতি

পরিসংখ্যানে ইম্পিউটেশন পদ্ধতি

পরিসংখ্যান ও ডেটা বিশ্লেষণের চর্চায়, অনুপস্থিত ডেটার সমস্যা প্রায়শই দেখা দেয়। উত্তরদাতাদের নির্দিষ্ট প্রশ্নের উত্তর না দেওয়া, রেকর্ডিং-এর ত্রুটি, সেন্সরের হস্তক্ষেপ, ডেটা সংগ্রহের সময় ডেটা বিকৃত হওয়া, অথবা একাধিক ডেটা উৎসের মধ্যে পূর্ণ মিল না থাকার কারণে ডেটা অনুপস্থিত থাকতে পারে। সঠিকভাবে সমাধান না করা হলে, অনুপস্থিত ডেটা বিশ্লেষণের মান কমিয়ে দিতে পারে, পরীক্ষার কার্যকারিতা হ্রাস করতে পারে এবং এমনকি পক্ষপাতদুষ্ট সিদ্ধান্তে উপনীত করতে পারে। অনুপস্থিত ডেটা সমাধানের অন্যতম প্রচলিত একটি পদ্ধতি হলো ইম্পিউটেশন, যার মাধ্যমে উপলব্ধ তথ্যের উপর ভিত্তি করে আনুমানিক মান দিয়ে অনুপস্থিত মানগুলো পূরণ করা হয়।

ইমপিউটেশন কেন গুরুত্বপূর্ণ?

কেবলমাত্র অনুপস্থিত ডেটা মুছে ফেলার পরিবর্তে ইম্পিউটেশন বেছে নেওয়ার বেশ কয়েকটি কারণ রয়েছে। প্রথমত, অনুপস্থিত মানযুক্ত সারি/পর্যবেক্ষণগুলি মুছে ফেললে (যেমন, লিস্টওয়াইজ ডিলিশন) নমুনার আকার ব্যাপকভাবে কমে যেতে পারে, বিশেষ করে যখন অনুপস্থিত ডেটার শতাংশ উল্লেখযোগ্য হয়। দ্বিতীয়ত, যদি ডেটা এলোমেলোভাবে অনুপস্থিত না থাকে, তবে মুছে ফেলার ফলে পক্ষপাত তৈরি হতে পারে। তৃতীয়ত, অনেক পরিসংখ্যানগত বা মেশিন লার্নিং অ্যালগরিদমের জন্য সম্পূর্ণ ডেটার প্রয়োজন হয়, যা ইম্পিউটেশনকে একটি সুবিধাজনক প্রিপ্রসেসিং ধাপে পরিণত করে।

তবে, ইম্পিউটেশন কেবল "ফাঁক পূরণ করা" নয়। নির্বাচিত পদ্ধতিতে অনুপস্থিত ডেটার প্রক্রিয়া, ভেরিয়েবলগুলোর গঠন এবং বিশ্লেষণের উদ্দেশ্য অবশ্যই বিবেচনায় রাখতে হবে। ত্রুটিপূর্ণ ইম্পিউটেশন মডেলকে "বিভ্রান্ত" করতে পারে, ভ্যারিয়েন্স কমিয়ে দিতে পারে এবং ফলাফলকে প্রকৃত অবস্থার চেয়ে বেশি নিশ্চিত বলে মনে করাতে পারে।

হারানো ডেটা প্রক্রিয়া

পরিসংখ্যান শাস্ত্রে, অনুপস্থিত ডেটাকে সাধারণত তিনটি প্রধান প্রক্রিয়ায় শ্রেণীবদ্ধ করা হয়:

১. MCAR (Missing Completely At Random): এক্ষেত্রে ডেটা অনুপস্থিত থাকার সম্ভাবনা, পর্যবেক্ষণকৃত বা অপর্যবেক্ষণকৃত কোনো চলকের ওপর নির্ভরশীল নয়। উদাহরণস্বরূপ, দুর্ঘটনায় ক্ষতিগ্রস্ত একটি প্রশ্নপত্র।
২. এমএআর (MAR - Missing At Random): ডেটা অনুপস্থিত থাকার সম্ভাবনা পর্যবেক্ষণকৃত চলকের উপর নির্ভর করে, কিন্তু অন্যান্য চলকগুলোকে নিয়ন্ত্রণের পর অনুপস্থিত মানটির উপর নির্ভর করে না। উদাহরণস্বরূপ, তরুণ উত্তরদাতাদের আয়ের প্রশ্ন বাদ পড়ার সম্ভাবনা বেশি, কিন্তু তাদের বয়সের তথ্য উপলব্ধ থাকে।
৩. এমএনএআর (Missing Not At Random): ডেটা অনুপস্থিত থাকার সম্ভাবনা অনুপস্থিত মানটির উপরই নির্ভর করে। উদাহরণস্বরূপ, খুব উচ্চ আয়ের ব্যক্তিরা সাধারণত তাদের আয় প্রকাশ করতে চান না।

সাধারণত MCAR/MAR পদ্ধতিতে ইম্পিউটেশন বেশি নিরাপদ। MNAR পদ্ধতিতে প্রায়শই এমন একটি মডেল প্রয়োজন হয় যা অনুপস্থিত ডেটাকে সুস্পষ্টভাবে বিবেচনা করে অথবা একটি সেনসিটিভিটি অ্যানালাইসিস প্রয়োজন হয়।

সরল অনুমান পদ্ধতি

১. গড়/মধ্যক/প্রচুরক আরোপণ
সবচেয়ে সহজ পদ্ধতি হলো সংখ্যাসূচক চলকের ক্ষেত্রে অনুপস্থিত মানগুলোকে গড় বা মধ্যক দিয়ে এবং শ্রেণিবদ্ধ চলকের ক্ষেত্রে প্রচুরক দিয়ে প্রতিস্থাপন করা। এর সুবিধাগুলো হলো: এটি সহজ, দ্রুত এবং প্রায়শই একটি ভিত্তি হিসেবে কাজ করে। এর অসুবিধাগুলো হলো: এটি ভেদাঙ্ক কমাতে পারে এবং উপাত্তের বিন্যাসকে বিকৃত করতে পারে, বিশেষ করে যদি উপাত্ত অপ্রতিসম হয় বা এতে বহিঃস্থ মান থাকে। সাধারণত, গড়ের চেয়ে মধ্যক বহিঃস্থ মানের ক্ষেত্রে বেশি নির্ভরযোগ্য।

২. ধ্রুবক আরোপণ
অনুপস্থিত মানগুলো একটি নির্দিষ্ট ধ্রুবক, যেমন ০, -১, বা "অজানা" লেবেল দিয়ে পূরণ করা হয়। এটি তখন উপযোগী হয় যখন মানটির একটি নির্দিষ্ট অর্থ থাকে (যেমন, "কোনো লেনদেন নেই"), অথবা যখন অনুপস্থিতি তুলে ধরার জন্য মডেলকে একটি অতিরিক্ত নির্দেশক দেওয়ার প্রয়োজন হয়। তবে, যথেচ্ছভাবে একটি ধ্রুবক বেছে নিলে তা ভ্রান্ত প্যাটার্ন তৈরি করতে পারে।

৩. হট ডেক ইম্পিউটেশন
হট ডেকে, কয়েকটি মূল চলকের উপর ভিত্তি করে অন্যান্য “অনুরূপ” পর্যবেক্ষণ (দাতা) থেকে প্রাপ্ত মান ব্যবহার করে অনুপস্থিত মানগুলো পূরণ করা হয়। এই পদ্ধতিটি জরিপে জনপ্রিয়। হট ডেক বাস্তবসম্মত মান বজায় রাখে কারণ এটি ডেটার প্রকৃত মান ধারণ করে, কিন্তু এর ফলাফল “সাদৃশ্য”-এর সংজ্ঞার উপর সংবেদনশীল এবং এর ফলে নমুনাগুলোর মধ্যে ভিন্নতা দেখা দিতে পারে।

মডেল-ভিত্তিক ইম্পিউটেশন পদ্ধতি

৪. রিগ্রেশন ইম্পিউটেশন
অন্যান্য ভেরিয়েবল থেকে প্রাপ্ত একটি রিগ্রেশন মডেল ব্যবহার করে অনুপস্থিত মানগুলোর পূর্বাভাস দেওয়া হয়। সংখ্যাসূচক ভেরিয়েবলের জন্য লিনিয়ার রিগ্রেশন ব্যবহার করা যেতে পারে; ক্যাটাগরিক্যাল ভেরিয়েবলের জন্য লজিস্টিক বা মাল্টিনোমিয়াল রিগ্রেশন ব্যবহার করা যায়। এর সুবিধা হলো এটি ভেরিয়েবলগুলোর মধ্যকার সম্পর্ককে কাজে লাগায়। অসুবিধা হলো, শুধুমাত্র ডিটারমিনিস্টিক পূর্বাভাসিত মান ব্যবহার করলে ভ্যারিয়েন্স কমে যাওয়ার প্রবণতা দেখা যায়, কারণ সমস্ত আরোপিত মান ঠিক পূর্বাভাস রেখার উপর অবস্থান করে। এর সমাধান করতে, অধিকতর বাস্তবতার জন্য প্রায়শই র‍্যান্ডম উপাদান (যেমন, রেসিডুয়াল) যোগ করা হয়।

৫. কে-নিকটতম প্রতিবেশী (কেএনএন) ইম্পিউটেশন
kNN পদ্ধতিটি k-সংখ্যক নিকটতম প্রতিবেশীর গড় (বা ভোটিং)-এর উপর ভিত্তি করে অনুপস্থিত মানগুলি পূরণ করে। ডেটা স্বাভাবিকীকরণের পর সাধারণত ইউক্লিডীয় দূরত্ব বা অন্য কোনো মেট্রিকের মাধ্যমে নৈকট্য পরিমাপ করা হয়। এর সুবিধার মধ্যে রয়েছে নমনীয়তা এবং কোনো রৈখিক সম্পর্ক না থাকার অনুমান। অসুবিধার মধ্যে রয়েছে বৃহৎ ডেটা সেটের জন্য গণনাগতভাবে ব্যয়বহুল হওয়া, পরিবর্তনশীল স্কেলের প্রতি সংবেদনশীলতা এবং উচ্চ-মাত্রিক ডেটাতে কর্মক্ষমতার অবনতি (কার্স অফ ডাইমেনশনালিটি)।

৬. প্রত্যাশা-সর্বোচ্চকরণ (EM)
EM পদ্ধতিটি অনুপস্থিত মানগুলোকে সুপ্ত চলক হিসেবে বিবেচনা করে মডেলের প্যারামিটার (যেমন, বহুচলকীয় স্বাভাবিক ডেটার জন্য গড় এবং সহপ্রসারণ) অনুমান করে। ধাপ E বর্তমান প্যারামিটারগুলোর উপর ভিত্তি করে পুনরাবৃত্তিমূলকভাবে অনুপস্থিত মানগুলোর প্রত্যাশা গণনা করে, এবং তারপর ধাপ M প্রত্যাশিত “সম্পূর্ণ” ডেটার উপর ভিত্তি করে প্যারামিটারগুলো হালনাগাদ করে। EM নির্দিষ্ট কিছু বণ্টনগত অনুমানের ক্ষেত্রে সুদৃঢ়, কিন্তু এটি জটিল হতে পারে এবং মডেলের অনুমানগুলোর সঠিকতার উপর নির্ভরশীল।

মাল্টিপল ইম্পিউটেশন: অনেক ক্ষেত্রে এটিই সর্বোত্তম মানদণ্ড

৭. মাল্টিপল ইম্পিউটেশন (MI)
মাল্টিপল ইম্পিউটেশনকে MAR-এর অন্যতম নীতিসম্মত পদ্ধতি হিসেবে বিবেচনা করা হয়। একটিমাত্র সম্পূর্ণ ডেটাসেট তৈরি করার পরিবর্তে, MI বিভিন্ন ইম্পিউটেশন সহ একাধিক ডেটাসেট (যেমন, ৫-২০টি) তৈরি করে, যা অনিশ্চয়তাকে প্রতিফলিত করে। প্রতিটি ডেটাসেট আলাদাভাবে বিশ্লেষণ করা হয়, তারপর আরও বৈধ অনুমান এবং স্ট্যান্ডার্ড এরর পাওয়ার জন্য রুবিনের নিয়ম ব্যবহার করে ফলাফলগুলিকে একত্রিত করা হয়।

এমআই-এর সুবিধাসমূহ:
– অনুমানের অনিশ্চয়তা বিবেচনা করে।
– পরিসংখ্যানগত অনুমানের জন্য অধিক নির্ভুল (আত্মবিশ্বাস ব্যবধি, প্রকল্প পরীক্ষা)।
বিভিন্ন ধরণের ভেরিয়েবলের জন্য নমনীয়।

এর সীমাবদ্ধতাগুলো হলো:
– আরও জটিল বাস্তবায়ন।
– এর জন্য পর্যাপ্ত অনুমান এবং ইম্পিউটেশন মডেলের নির্দিষ্টকরণের প্রয়োজন।
– MNAR-এ তথ্য অনুপস্থিত থাকলে, স্ট্যান্ডার্ড MI তখনও পক্ষপাতদুষ্ট হতে পারে।

সময় সিরিজ এবং স্থানিক ডেটার জন্য ইম্পিউটেশন

সময়-ক্রমিক ডেটাতে, অনুপস্থিত মানগুলো প্রায়শই তাদের পূর্ববর্তী ও পরবর্তী মানগুলোর সাথে দৃঢ়ভাবে সম্পর্কিত থাকে। এক্ষেত্রে প্রায়শই লিনিয়ার ইন্টারপোলেশন, স্প্লাইন, কালম্যান ফিল্টার, বা ARIMA/স্টেট স্পেস মডেলের মতো পদ্ধতি ব্যবহার করা হয়। স্থানিক ডেটার ক্ষেত্রে, ক্রিগিং এবং স্থানিক মডেলের মতো পদ্ধতিগুলো ভৌগোলিক নৈকট্যকে কাজে লাগাতে পারে। এই পদ্ধতিগুলো তখনই কার্যকর হয় যখন কালিক/স্থানিক কাঠামোই প্রধান থাকে, কিন্তু আকস্মিক পরিবর্তনের (যেমন, অর্থনৈতিক অভিঘাত) ক্ষেত্রে সতর্কতা অবলম্বন করতে হবে, যা সাধারণ ইন্টারপোলেশনকে বিভ্রান্তিকর করে তুলতে পারে।

ইমপিউটেশন পদ্ধতি নির্বাচনের উত্তম অনুশীলন

১. অনুপস্থিত ডেটা অন্বেষণ করুন: অনুপস্থিত মানের শতাংশ, অনুপস্থিতির ধরণ এবং এই অনুপস্থিতি কোনো নির্দিষ্ট ভেরিয়েবলের সাথে সম্পর্কিত কিনা তা যাচাই করুন।
২. ট্রেনিং এবং টেস্ট ডেটা আলাদা করুন: ডেটা লিকেজ এড়াতে, শুধুমাত্র ট্রেনিং ডেটা থেকে “শিখে” ইম্পিউটেশন সম্পাদন করুন, তারপর তা টেস্ট ডেটাতে প্রয়োগ করুন।
৩. ভেরিয়েবলের ধরণ বিবেচনা করুন: সংখ্যাসূচক, শ্রেণিমূলক, ক্রমিক, বা মিশ্র; উপযুক্ত পদ্ধতি ভিন্ন।
৪. অনুপস্থিতি নির্দেশক ব্যবহার করুন: কখনও কখনও কোনো মান অনুপস্থিত থাকার তথ্যটি নিজেই ভবিষ্যদ্বাণীমূলক হয়; নির্দেশক ভেরিয়েবল যোগ করলে একটি ভবিষ্যদ্বাণীমূলক মডেলের কর্মক্ষমতা উন্নত হতে পারে।
৫. ইম্পিউটেশনের প্রভাব মূল্যায়ন করুন: ইম্পিউটেশনের আগে ও পরের ডিস্ট্রিবিউশনগুলোর তুলনা করুন, ভ্যারিয়েন্স কমেছে কিনা তা পরীক্ষা করুন এবং মডেলটি ভ্যালিডেট করুন।
৬. অনুমানের জন্য মাল্টিপল ইম্পিউটেশনকে অগ্রাধিকার দিন: যখন বিশ্লেষণের লক্ষ্য প্যারামিটার অনুমান এবং পরিসংখ্যানগত পরীক্ষা হয়, তখন সিঙ্গেল ইম্পিউটেশনের চেয়ে মাল্টিপল ইম্পিউটেশন প্রায়শই বেশি উপযুক্ত হয়।

উপসংহার

অনুপস্থিত ডেটা ব্যবস্থাপনার জন্য ইম্পিউটেশন আধুনিক পরিসংখ্যানগত কার্যপ্রবাহের একটি অত্যন্ত গুরুত্বপূর্ণ উপাদান। গড়/মধ্যকের মতো সরল পদ্ধতিগুলো ভিত্তি হিসেবে বা সামান্য অনুপস্থিতির ক্ষেত্রে কার্যকর হতে পারে, কিন্তু এগুলো প্রায়শই ডেটার গঠন এবং অনিশ্চয়তার সাথে আপস করে। রিগ্রেশন, কেএনএন এবং ইএম-এর মতো মডেল-ভিত্তিক পদ্ধতিগুলো ভ্যারিয়েবলগুলোর মধ্যকার সম্পর্ককে কাজে লাগায়, অন্যদিকে মাল্টিপল ইম্পিউটেশন অনিশ্চয়তাকে বিবেচনায় রেখে অনুমানের জন্য একটি শক্তিশালী কাঠামো প্রদান করে। সেরা পদ্ধতির নির্বাচন নির্ভর করে অনুপস্থিত ডেটা ব্যবস্থাপনার (MCAR/MAR/MNAR), বিশ্লেষণের উদ্দেশ্যের (পূর্বাভাস বনাম অনুমান) এবং ডেটার বৈশিষ্ট্যের (টাইম সিরিজ, স্থানিক, মিশ্র) উপর। সঠিক পদ্ধতির মাধ্যমে, ইম্পিউটেশন বিশ্লেষণের অখণ্ডতা বজায় রাখতে সাহায্য করে এবং আরও নির্ভরযোগ্য সিদ্ধান্তে উপনীত হতে সহায়তা করে।