最小二乗法：推定のための数学的アプローチ
ペンダフルアン
最小二乗法は、回帰モデルにおけるパラメータを推定するために用いられる統計的手法であり、実際の値とモデルによって予測された値との間の二乗誤差の合計を最小化するものです。この方法は非常に普及しており、経済学、工学、生物学、社会科学など、さまざまな分野で頻繁に用いられています。最小二乗法の概念は、19世紀初頭にアドリアン＝マリー・ルジャンドルによって初めて提唱され、後にカール・フリードリヒ・ガウスによってさらに発展させられました。
基本的な理解
一般的に、最小二乗法は、残差（予測誤差）の二乗和を最小化することによって、データセットに最適な回帰直線を求めることを目的としています。残差とは、観測値と予測値の差のことです。
観測値のペア \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\) からなるデータセットがある場合、私たちの目標は、二乗誤差の合計 sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \) を最小化する直線 \(y = mx + b\) を見つけることです。
この方法は、単回帰分析と重回帰分析の両方に適用できます。単回帰分析では独立変数（x）は1つだけですが、重回帰分析では複数の独立変数が関係します。
単純線形回帰
まずは単純線形回帰から始めましょう。データセット \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)) があるとします。当てはめたい単純線形回帰モデルは次のとおりです。
\[ y = mx + b + \epsilon \]
ここで、\( m \) は傾き、\( b \) は切片、\( \epsilon \) はランダム誤差です。
最小二乗法を用いると、二乗誤差関数を最小化することによって、パラメータ \( m \) と \( b \) の推定値を求めることができます。
\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
\( S(m, b) \) を最小化するために、\( S \) の \( m \) および \( b \) に関する偏微分を求め、次にこの方程式を \( m \) および \( b \) について解きます。
\[ \begin{aligned}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]
簡略化すると、次の2つの正規方程式が得られます。
\[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]
上記の連立方程式を解くことにより、二乗誤差を最小にする \( m \) と \( b \) の値を求めることができます。
重回帰分析
重回帰分析では、独立変数が複数ある状況に直面します。データがタプル \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\) の形式であると仮定します。使用する回帰モデルは次のとおりです。
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
この方程式は行列形式で次のように表すことができます。
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
どこ：
– \( \mathbf{y} \) は、観測された y 値の列ベクトルです。
– \( \mathbf{X} \) は、観測された x 値の行列です (切片を表す 1 列目を含む)。
– \( \mathbf{b} \) は、パラメータ (\( b_0 \) を含む) の列ベクトルです。
最小二乗法の目的は、以下の二乗誤差関数を最小化することです。
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
この関数を最小化するために、S を \( \mathbf{b} \) に関して偏微分し、それをゼロに設定します。これにより、重回帰分析の正規方程式が得られます。
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
上記の連立方程式を解くことにより、パラメータ \( \mathbf{b} \) の推定値を得ることができます。
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
健康および疾病
最小二乗法には多くの利点があります。非常に効率的で使いやすい方法です。\( \mathbf{X}^T \mathbf{X} \) が可逆であれば一意の解が得られるため、多くの実用的な用途で信頼性があります。
しかし、最小二乗法にも限界がある。二乗誤差は小さな差よりも大きな差を強調するため、外れ値に非常に敏感である。さらに、良好な結果を得るためには、誤差が平均ゼロ、分散一定の正規分布に従うという古典的な仮定を満たす必要がある。
実践アプリケーション
最小二乗法は、データ傾向分析、予測、機械学習において、予測モデルを構築するために頻繁に用いられます。金融業界では、株価や市場パフォーマンスの予測に用いられます。医学分野では、薬剤投与量と患者の反応の関係をモデル化するために用いられます。社会科学分野では、教育と所得といった変数間の関係を理解するのに役立ちます。
結論
最小二乗法は、統計学およびデータ分析における基本的な手法の一つです。概念的には単純ながら、変数間の関係性をモデル化し理解する上で非常に強力な手法です。幅広い分野で応用されているため、この手法をしっかりと理解することは、専門家にとっても研究者にとっても非常に重要です。今後、ビッグデータ時代においてデータ量が増加するにつれ、最小二乗法のような古典的な手法の適用と活用はますます重要になっていくでしょう。
