統計学における補完法
統計学やデータ分析の実践において、欠損データの問題はほぼ必ず発生します。データの欠損は、回答者が特定の質問に回答しなかった、記録エラー、センサーの干渉、抽出中のデータの破損、あるいは完全に一致しない複数のデータソースを結合するプロセスなどが原因で発生する可能性があります。欠損データを適切に処理しないと、分析の質が低下し、検定力が低下し、さらには偏った結論につながる可能性があります。欠損データを処理する最も一般的な方法の1つは、利用可能な情報に基づいて推定値で欠損値を補完する補完法です。
なぜデータ補完が重要なのか？
欠損データを単純に削除するのではなく、補完を選択する理由がいくつかあります。第一に、欠損値を含む行／観測値を削除する（例えば、リストワイズ削除）と、特に欠損データの割合が高い場合、サンプルサイズが大幅に減少する可能性があります。第二に、データがランダムに欠損していない場合、削除によってバイアスが生じる可能性があります。第三に、多くの統計アルゴリズムや機械学習アルゴリズムは完全なデータを必要とするため、補完は便利な前処理ステップとなります。
しかし、欠損値補完は単に「欠損値を埋める」ことではありません。選択する手法は、欠損データのメカニズム、変数の構造、および分析の目的を考慮に入れる必要があります。不適切な補完は、モデルを「欺き」、分散を減少させ、結果を実際よりも確実であるかのように見せてしまう可能性があります。
データ損失メカニズム
統計学の文献では、欠損データは通常、次の3つの主要なメカニズムに分類されます。
1. MCAR（完全にランダムに欠損）：欠損データの確率は、観測された変数または観測されていない変数とは無関係です。たとえば、事故で破損したアンケートなどです。
2. MAR（ランダム欠損）：欠損データの確率は観測変数に依存しますが、他の変数を制御すれば欠損値自体には依存しません。例えば、若い回答者は収入に関する質問に回答しない可能性が高いですが、年齢は利用可能です。
3. MNAR（非ランダム欠損）：欠損データの確率は、欠損値自体に依存します。例えば、非常に高収入の人は収入を開示しない傾向があります。
欠損値の補完は、一般的にMCAR/MARの場合の方が安全です。MNARの場合は、欠損データを明示的に考慮したモデル、または感度分析が必要となることがよくあります。
単純補完法
1. 平均値／中央値／最頻値の補完
最も簡単な方法は、欠損値を数値変数の場合は平均値または中央値で、カテゴリ変数の場合は最頻値で置き換えることです。利点は、簡単で迅速であり、多くの場合、基準値として機能することです。欠点は、特にデータが非対称であったり外れ値が含まれている場合、分散が減少し、データ分布が歪む可能性があることです。中央値は一般的に、平均値よりも外れ値に対して頑健です。
2. 定数による補完
欠損値は、0、-1、または「不明」というラベルなどの特定の定数で埋められます。これは、値に特定の意味がある場合（例：「取引なし」）、または欠損値を強調するための追加の指標をモデルに与える必要がある場合に役立ちます。ただし、任意の定数を選択すると、誤ったパターンが生じる可能性があります。
3. ホットデックインピュテーション
ホットデッキでは、欠損値は、いくつかの主要な変数に基づいて、他の「類似した」観測値（ドナー）の値を使用して補完されます。この方法は調査でよく用いられます。ホットデッキはデータの実際の値を捉えるため、現実的な値を維持できますが、結果は「類似性」の定義に左右されやすく、サンプル間のばらつきが生じる可能性があります。
モデルベースの補完方法
4. 回帰補完
欠損値は、他の変数から導出された回帰モデルを用いて予測されます。数値変数には線形回帰、カテゴリ変数にはロジスティック回帰または多項ロジスティック回帰が使用できます。利点は、変数間の関係性を活用できる点です。欠点は、決定論的な予測値のみを使用すると、すべての補完値が予測線上に正確に収まるため、分散が減少する傾向があることです。この問題を解決するために、より現実的な結果を得るために、残差などのランダムな要素が追加されることがよくあります。
5. k近傍法（kNN）による補完
kNN法は、k個の最近傍点の平均（または投票）に基づいて欠損値を補完します。近接度は通常、データが正規化された後、ユークリッド距離または別の指標で測定されます。この方法の利点としては、柔軟性と線形関係がないという仮定が挙げられます。欠点としては、大規模データセットでは計算コストが高くなること、変数スケールに敏感であること、高次元データではパフォーマンスが低下すること（次元の呪い）などが挙げられます。
6. 期待値最大化（EM）
EM法は、欠損値を潜在変数として扱うことで、モデルパラメータ（例えば、多変量正規分布データの平均と共分散）を推定します。ステップEでは、現在のパラメータに基づいて欠損値の期待値を繰り返し計算し、ステップMでは、期待される「完全な」データに基づいてパラメータを更新します。EM法は特定の分布仮定に対して頑健ですが、複雑になる場合があり、モデル仮定の正しさに依存します。
多重代入法：多くの場合、ゴールドスタンダードとなる手法
7. 多重代入法（MI）
多重代入法は、MAR（無作為なデータ欠損）に対する最も原理に基づいたアプローチの一つと考えられています。多重代入法では、単一の完全なデータセットを作成する代わりに、不確実性を反映した異なる代入値を持つ複数のデータセット（例えば5～20個）を作成します。各データセットは個別に分析され、その後、ルービンのルールを用いて結果を統合することで、より妥当な推定値と標準誤差が得られます。
MIの利点：
– 補完の不確実性に対応します。
―統計的推論（信頼区間、仮説検定）において、より正確である。
― さまざまな種類の変数に柔軟に対応できる。
その限界：
―より複雑な実装。
適切な前提条件と補完モデルの仕様が必要となる。
– MNARに欠損値がある場合、標準的なMIは依然としてバイアスを持つ可能性があります。
時系列データおよび空間データの補完
時系列データでは、欠損値はしばしばその前後の値と強い相関関係にある。そのため、線形補間、スプライン補間、カルマンフィルター、ARIMA/状態空間モデルなどの手法がよく用いられる。空間データの場合、クリギングや空間モデルなどの手法は地理的な近接性を利用できる。これらの手法は、時間的・空間的な構造が支配的な場合に有効であるが、単純な補間では誤った結果を招く可能性がある急激な変化（例えば、経済ショック）には注意が必要である。
欠損値補完方法を選択する際の優良事例
1. 欠損データの調査を実施する：欠損値の割合、欠損のパターン、および欠損が特定の変数に関連しているかどうかを確認します。
2. トレーニングデータとテストデータを分離する: トレーニングデータのみから「学習」して補完を行い、それをテストデータに適用してデータ漏洩を防ぎます。
3. 変数の種類（数値、カテゴリ、順序、または混合）を考慮する。適切な方法は異なる。
4. 欠損値指標を使用する：値が欠損しているという情報自体が予測に役立つ場合があり、指標変数を追加することで予測モデルのパフォーマンスを向上させることができます。
5. 補完の影響を評価する：補完前と補完後の分布を比較し、分散が減少したかどうかを確認し、モデルを検証する。
6. 推論には多重代入を優先する: 分析の目的がパラメータ推定と統計的検定である場合、多重代入は単一代入よりも適切な場合が多い。
結論
欠損データの処理において、補完は現代の統計ワークフローにおける重要な要素です。平均値や中央値といった単純な方法は、基準値として、あるいは欠損値が小さい場合には有用ですが、データ構造や不確実性を損なうことが少なくありません。回帰分析、kNN、EMなどのモデルベースの手法は変数間の関係性を活用しますが、多重補完は不確実性を考慮することで、推論のための堅牢なフレームワークを提供します。最適な手法の選択は、欠損データのメカニズム（MCAR/MAR/MNAR）、分析目的（予測か推論か）、およびデータの特性（時系列、空間、混合）によって異なります。適切なアプローチを用いることで、補完は分析の整合性を維持し、より信頼性の高い結論を導き出すのに役立ちます。
