最小二乗法：包括的な分析
最小二乗法は、統計的回帰分析における最も基本的な手法の一つであり、データフィッティング、モデリング、予測分析において重要な役割を果たします。これは、観測値と予測値の差の二乗和を最小化する数学的手法です。これにより、与えられたデータ点群に最もよく適合する直線または曲線が得られます。本稿では、最小二乗法の基礎、応用、導出、および限界について解説します。
歴史的背景
最小二乗法は、カール・フリードリヒ・ガウスが1795年に18歳で初めて提唱したが、出版されたのは1809年になってからだった。著名な数学者であるアドリアン＝マリー・ルジャンドルも、1805年に同様の方法を独自に開発し発表している。しかしながら、ガウスによる記法と方法の拡張が、現代における最小二乗法の基礎を築いたと言えるだろう。
数学的基礎
最も単純な形では、最小二乗法は、一連のデータ点に線形モデルを当てはめるために使用されます。n 個のデータ点 \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\) が与えられた場合、目標は、観測値 \(y_i\) と直線 \(\hat{y}_i\) によって予測される値との間の垂直距離 (残差) の二乗和を最小にする直線 \(y = mx + c\) を見つけることです。
数学的に、この目的は次のように表すことができます。
\[ S = \sum_{i=1}^{n} (y_i – \hat{y}_i)^2 = \sum_{i=1}^{n} (y_i – (mx_i + c))^2 \]
この式は残差の二乗和 \(S\) を表しており、私たちの目標は \(S\) を最小にする \(m\) (傾き) と \(c\) (切片) の値を見つけることです。
導出
二乗和 \(S\) を最小にする \(m\) と \(c\) の値を求めるには、\(S\) を \(m\) と \(c\) に関して偏微分し、それらをゼロに設定します。
1. mに関する偏微分：
\[ \frac{\partial S}{\partial m} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-x_i) = 0 \]
2. c に関する偏微分：
\[ \frac{\partial S}{\partial c} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-1) = 0 \]
これらの連立方程式を解くと、正規方程式が得られます。
\[ m = \frac{n(\sum x_i y_i) – (\sum x_i)(\sum y_i)}{n (\sum x_i^2) – (\sum x_i)^2} \]
\[ c = \frac{(\sum y_i)(\sum x_i^2) – (\sum x_i)(\sum x_i y_i)}{n(\sum x_i^2) – (\sum x_i)^2} \]
これらの式は、残差の二乗和を最小にする \(m\) と \(c\) の値を与えます。
用途
最小二乗法は、さまざまな分野で幅広く応用されている。
1. 経済学と金融学：GDP、インフレ率、株価などの経済指標をモデル化および予測するために使用されます。
2. エンジニアリング：信号処理、制御システム、信頼性試験に応用され、モデルを経験的データに適合させる。
3. 医学：成長曲線、用量反応曲線、その他の生物学的プロセスを実験データに適合させるのに役立ちます。
4. 機械学習：パラメータ推定に最小二乗法を用いることが多い線形回帰モデルは、教師あり学習手法の基礎となるものです。
5. 天文学：歴史的にはガウスが天体の軌道を計算するために使用した。
バリエーションと拡張
1. 重み付き最小二乗法: 観測値の分散が異なる場合、重み付き最小二乗法は各データポイントに重みを割り当て、重み付き二乗和を最小化します。
2. 非線形最小二乗法：ガウス・ニュートン法やレーベンバーグ・マルカート法などの反復手法を用いて、非線形モデルに適合するようにこの手法を拡張します。
3. 正則化最小二乗法（リッジ回帰）：二乗和にペナルティ項を追加して過学習を防ぎ、特に多重共線性に対処する場合に有効です。
4. 一般化最小二乗法：相関のある観測値を考慮し、最小二乗法を拡張して自己相関誤差と不均一分散誤差を処理できるようにします。
計算ツール
さまざまなソフトウェアツールやプログラミング環境には、最小二乗回帰を実行するための組み込み関数が用意されています。
1. Python: NumPyやSciPyなどのライブラリは、それぞれ線形および非線形最小二乗フィッティングのための関数`numpy.linalg.lstsq`と`scipy.optimize.curve_fit`を提供します。
2. R: Rの包括的な統計環境には、線形モデル用の`lm()`や非線形モデル用の`nls()`などの関数があります。
3. MATLAB: MATLAB の関数 `lsqcurvefit` は、線形代数演算を内蔵した非線形フィッティングに使用されます。
製品制限
最小二乗法は幅広い応用が可能であるにもかかわらず、いくつかの限界がある。
1. 外れ値に対する感度: 最小二乗法は外れ値に非常に敏感です。二乗項は大きな残差の影響を増幅します。
2. 線形性の仮定：変数間に線形関係があると仮定していますが、これは複雑なデータセットでは当てはまらない場合があります。
3. 多重共線性の問題: 多重線形回帰では、予測変数間の多重共線性が係数の推定を歪める可能性があります。
4. 分散の均一性（等分散性）：誤差項の分散が観測値全体で一定であると仮定しますが、これは常に当てはまるとは限りません。
結論
最小二乗法は、その歴史の長さにもかかわらず、統計データ分析とモデリングにおける基礎的な手法であり続けています。その簡便性、有効性、そして基本的な線形回帰から複雑な非線形モデルや一般化モデルまで、様々な形式への適用性の高さは、この手法を非常に価値あるものにしています。データ分析に携わるすべての人にとって、その数学的基礎、応用、そして限界を理解することは不可欠であり、それによってこの手法を適切に適用し、有意義な知見を引き出すことができるのです。学術界であれ産業界であれ、最小二乗法はデータ内の関係性を理解し、情報に基づいた予測を行うための強力なツールであり続けています。
