روش‌های جایگذاری در آمار

روش‌های جایگذاری در آمار

در عمل آمار و تحلیل داده‌ها، مشکل داده‌های از دست رفته تقریباً همیشه مطرح می‌شود. داده‌ها می‌توانند به دلیل عدم پاسخگویی پاسخ‌دهندگان به سؤالات خاص، خطاهای ثبت، تداخل حسگرها، داده‌های خراب در حین استخراج یا به دلیل فرآیند ترکیب چندین منبع داده که کاملاً با هم مطابقت ندارند، از دست بروند. اگر داده‌های از دست رفته به درستی مدیریت نشوند، می‌توانند کیفیت تحلیل را کاهش دهند، قدرت آزمون را کاهش دهند و حتی منجر به نتیجه‌گیری‌های جانبدارانه شوند. یکی از رایج‌ترین رویکردها برای مدیریت داده‌های از دست رفته، جانهی است که شامل پر کردن مقادیر از دست رفته با مقادیر تخمینی بر اساس اطلاعات موجود است.

چرا انتساب مهم است؟

دلایل متعددی وجود دارد که چرا اغلب جایگذاری به جای حذف ساده داده‌های از دست رفته ترجیح داده می‌شود. اول، حذف سطرها/مشاهدات حاوی مقادیر از دست رفته (مثلاً حذف فهرستی) می‌تواند حجم نمونه را به شدت کاهش دهد، به خصوص زمانی که درصد داده‌های از دست رفته قابل توجه باشد. دوم، اگر داده‌ها به طور تصادفی از دست نرفته باشند، حذف می‌تواند باعث ایجاد سوگیری شود. سوم، بسیاری از الگوریتم‌های آماری یا یادگیری ماشینی به داده‌های کامل نیاز دارند، که جایگذاری را به یک مرحله پیش‌پردازش مناسب تبدیل می‌کند.

با این حال، جایگذاری صرفاً به معنای «پر کردن شکاف‌ها» نیست. روش انتخاب شده باید مکانیسم داده‌های از دست رفته، ساختار متغیرها و اهداف تحلیل را در نظر بگیرد. جایگذاری ضعیف می‌تواند مدل را «فریب» دهد، واریانس را کاهش دهد و نتایج را قطعی‌تر از آنچه واقعاً هستند، نشان دهد.

مکانیسم داده‌های از دست رفته

در ادبیات آماری، داده‌های گمشده معمولاً به سه مکانیسم اصلی طبقه‌بندی می‌شوند:

۱. MCAR (گم شدن کاملاً تصادفی): احتمال گم شدن داده‌ها مستقل از هر متغیری، مشاهده شده یا مشاهده نشده، است. به عنوان مثال، پرسشنامه‌ای که در اثر تصادف آسیب دیده است.
۲. MAR (گم‌شده به صورت تصادفی): احتمال داده‌های گم‌شده به متغیر مشاهده‌شده بستگی دارد، اما پس از کنترل سایر متغیرها به خود مقدار گم‌شده بستگی ندارد. به عنوان مثال، پاسخ‌دهندگان جوان احتمال بیشتری دارد که سوالات مربوط به درآمد را از دست بدهند، اما سن در دسترس است.
۳. MNAR (گم شدن نه به صورت تصادفی): احتمال گم شدن داده‌ها به خود مقدار گم شده بستگی دارد. به عنوان مثال، افرادی که درآمد بسیار بالایی دارند، تمایل دارند درآمد خود را فاش نکنند.

جانهی معمولاً تحت MCAR/MAR ایمن‌تر است. MNAR اغلب به مدلی نیاز دارد که صریحاً داده‌های از دست رفته یا تحلیل حساسیت را در نظر بگیرد.

روش ساده‌ی جانهی

۱. جایگذاری میانگین/میانه/مد
ساده‌ترین روش، جایگزینی مقادیر گمشده با میانگین یا میانه برای متغیرهای عددی و مد برای متغیرهای دسته‌بندی‌شده است. مزایای آن عبارتند از: آسان، سریع و اغلب به عنوان خط مبنا عمل می‌کند. معایب آن عبارتند از: می‌تواند واریانس را کاهش داده و توزیع داده‌ها را تحریف کند، به خصوص اگر داده‌ها نامتقارن باشند یا حاوی داده‌های پرت باشند. میانه عموماً در برابر داده‌های پرت نسبت به میانگین مقاوم‌تر است.

۲. نسبت‌دهی مداوم
مقادیر گمشده با یک ثابت خاص، مانند ۰، -۱ یا برچسب "ناشناخته" پر می‌شوند. این زمانی مفید است که مقدار معنای خاصی داشته باشد (مثلاً "بدون تراکنش")، یا زمانی که مدل نیاز به یک شاخص اضافی برای برجسته کردن گمشده‌ها داشته باشد. با این حال، انتخاب یک ثابت دلخواه می‌تواند الگوهای جعلی ایجاد کند.

۳. نسبت‌دهی عرشه داغ
در یک مجموعه داده‌های داغ، مقادیر گمشده با استفاده از مقادیر سایر مشاهدات «مشابه» (اهداکنندگان) بر اساس چندین متغیر کلیدی پر می‌شوند. این روش در نظرسنجی‌ها رایج است. مجموعه داده‌های داغ مقادیر واقع‌بینانه را حفظ می‌کنند زیرا مقادیر واقعی داده‌ها را ثبت می‌کنند، اما نتایج به تعریف «شباهت» حساس هستند و می‌توانند تغییرات بین نمونه‌ای ایجاد کنند.

روش جانهی مبتنی بر مدل

۴. جانهی رگرسیون
مقادیر گمشده با استفاده از یک مدل رگرسیون مشتق شده از متغیرهای دیگر پیش‌بینی می‌شوند. برای متغیرهای عددی، می‌توان از رگرسیون خطی استفاده کرد؛ برای متغیرهای دسته‌ای، می‌توان از رگرسیون لجستیک یا چندجمله‌ای استفاده کرد. مزیت این روش این است که از روابط بین متغیرها بهره می‌برد. عیب آن این است که استفاده از مقادیر پیش‌بینی‌شده قطعی، واریانس را کاهش می‌دهد زیرا همه مقادیر جانهی شده دقیقاً روی خط پیش‌بینی قرار می‌گیرند. برای رفع این مشکل، اغلب اجزای تصادفی (مثلاً باقیمانده‌ها) برای واقع‌گرایی بیشتر اضافه می‌شوند.

۵. جانهی k-نزدیک‌ترین همسایه‌ها (kNN)
روش kNN مقادیر گمشده را بر اساس میانگین (یا رأی‌گیری) k نزدیکترین همسایه پر می‌کند. نزدیکی معمولاً پس از نرمال‌سازی داده‌ها با فاصله اقلیدسی یا معیار دیگری اندازه‌گیری می‌شود. مزایای آن شامل انعطاف‌پذیری و فرض عدم وجود رابطه خطی است. معایب آن شامل هزینه محاسباتی بالا برای مجموعه داده‌های بزرگ، حساسیت به مقیاس متغیر و کاهش عملکرد در داده‌های با ابعاد بالا (نفرین ابعاد) است.

۶. حداکثرسازی انتظارات (EM)
رویکرد EM پارامترهای مدل (مثلاً میانگین و کوواریانس برای داده‌های نرمال چند متغیره) را با در نظر گرفتن مقادیر گمشده به عنوان متغیرهای پنهان تخمین می‌زند. مرحله E به صورت تکراری امید مقادیر گمشده را بر اساس پارامترهای فعلی محاسبه می‌کند و سپس مرحله M پارامترها را بر اساس داده‌های «کامل» مورد انتظار به‌روزرسانی می‌کند. EM نسبت به فرضیات توزیعی خاصی مقاوم است، اما می‌تواند پیچیده باشد و به صحت فرضیات مدل بستگی دارد.

انتساب چندگانه: استاندارد طلایی در بسیاری از موارد

۷. انتساب چندگانه (MI)
جایگذاری چندگانه یکی از اصولی‌ترین رویکردها به MAR محسوب می‌شود. MI به جای تولید یک مجموعه داده کامل، چندین مجموعه داده (مثلاً ۵ تا ۲۰) با جایگذاری‌های مختلف که نشان‌دهنده عدم قطعیت هستند، تولید می‌کند. هر مجموعه داده به طور جداگانه تجزیه و تحلیل می‌شود، سپس نتایج با استفاده از قوانین روبین ترکیب می‌شوند تا تخمین‌ها و خطاهای استاندارد معتبرتری به دست آید.

مزایای MI:
- عدم قطعیت تخمین را در نظر می‌گیرد.
– برای استنتاج آماری (فواصل اطمینان، آزمون فرضیه) دقیق‌تر است.
- انعطاف‌پذیر برای انواع مختلف متغیرها.

محدودیت‌های آن:
- پیاده‌سازی پیچیده‌تر
- نیازمند فرضیات کافی و مشخصات مدل جانهی است.
- اگر در MNAR کمبودی وجود داشته باشد، MI استاندارد هنوز هم می‌تواند دارای سوگیری باشد.

جایگذاری برای سری‌های زمانی و داده‌های مکانی

در داده‌های سری زمانی، مقادیر گمشده اغلب به شدت با مقادیر قبلی و بعدی خود همبستگی دارند. روش‌هایی مانند درون‌یابی خطی، اسپلاین‌ها، فیلترهای کالمن یا مدل‌های ARIMA/State Space اغلب استفاده می‌شوند. برای داده‌های مکانی، رویکردهایی مانند کریجینگ و مدل‌های مکانی می‌توانند از نزدیکی جغرافیایی بهره ببرند. این روش‌ها زمانی مؤثر هستند که ساختار زمانی/مکانی غالب باشد، اما باید در مورد تغییرات ناگهانی (مثلاً شوک‌های اقتصادی) که می‌توانند درون‌یابی ساده را گمراه‌کننده کنند، احتیاط کرد.

شیوه‌های مناسب در انتخاب روش‌های جانهی

۱. کاوش داده‌های گمشده را انجام دهید: درصد مقادیر گمشده، الگوی گمشده بودن و اینکه آیا گمشده بودن مربوط به یک متغیر خاص است را بررسی کنید.
۲. داده‌های آموزشی و آزمایشی را از هم جدا کنید: عملیات جایگذاری را فقط با «یادگیری» از داده‌های آموزشی انجام دهید، سپس آن را روی داده‌های آزمایشی اعمال کنید تا از نشت داده‌ها جلوگیری شود.
۳. نوع متغیر را در نظر بگیرید: عددی، دسته‌بندی‌شده، ترتیبی یا مختلط؛ روش مناسب متفاوت است.
۴. از شاخص‌های گمشدگی استفاده کنید: گاهی اوقات اطلاعاتی که نشان می‌دهد یک مقدار گم شده است، خود پیش‌بینی‌کننده است؛ افزودن متغیرهای شاخص می‌تواند عملکرد یک مدل پیش‌بینی‌کننده را بهبود بخشد.
۵. تأثیر جانهی را ارزیابی کنید: توزیع‌ها را قبل/بعد از جانهی مقایسه کنید، بررسی کنید که آیا واریانس کاهش یافته است یا خیر، و مدل را اعتبارسنجی کنید.
۶. اولویت‌بندی MI برای استنتاج: وقتی هدف تحلیل، تخمین پارامتر و آزمون آماری است، جانهی چندگانه اغلب مناسب‌تر از جانهی تکی است.

نتیجه گیری

جانهی (imputation) یک جزء حیاتی از گردش‌های کاری آماری مدرن برای مدیریت داده‌های گمشده است. روش‌های ساده‌ای مانند میانگین/میانه می‌توانند به عنوان یک مبنا یا برای داده‌های گمشده کوچک مفید باشند، اما اغلب ساختار داده‌ها و عدم قطعیت را به خطر می‌اندازند. روش‌های مبتنی بر مدل مانند رگرسیون، kNN و EM از روابط بین متغیرها بهره‌برداری می‌کنند، در حالی که جانهی چندگانه (Multiple Imputation) با در نظر گرفتن عدم قطعیت، چارچوبی قوی برای استنتاج فراهم می‌کند. انتخاب بهترین روش به مکانیسم داده‌های گمشده (MCAR/MAR/MNAR)، هدف تحلیل (پیش‌بینی در مقابل استنتاج) و ویژگی‌های داده‌ها (سری زمانی، مکانی، مختلط) بستگی دارد. با رویکرد مناسب، جانهی به حفظ یکپارچگی تحلیل کمک می‌کند و نتایج قابل اعتمادتری به دست می‌دهد.