最小平方法：一種數學估計方法
介紹
最小平方法是一種統計技術，用於估計迴歸模型中的參數，其方法是最小化實際值與模型預測值之間的誤差平方和。此方法非常流行，廣泛應用於經濟學、工程學、生物學和社會科學等各個領域。最小平方法的概念最早由阿德里安-馬裡·勒讓德於19世紀初提出，後經卡爾·弗里德里希·高斯進一步發展完善。
基本理解
一般來說，最小平方法旨在透過最小化殘差平方和（或預測誤差）來找到資料集的最佳擬合迴歸線。殘差是觀測值與預測值之間的差值。
如果我們有一個由觀測值對組成的資料集 \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\)，那麼我們的目標是找到直線 \(y = mx + b\)，使平方誤差和 sum\( \sum_{i=1}^n} (x)。
這種方法既適用於簡單線性迴歸，也適用於多元線性迴歸。簡單線性迴歸只有一個自變數（x），而多元線性迴歸則涉及多個自變數。
簡單線性迴歸
我們先從簡單的線性迴歸開始。假設我們有一個資料集 \((x_1, y_1), (x_2, y_2), …, (x_n, y_n))。我們想要擬合的簡單線性迴歸模型是：
\[ y = mx + b + \epsilon \]
其中 \( m \) 為斜率，\( b \) 為截距，\( \epsilon \) 為隨機誤差。
利用最小平方法，我們可以透過最小化平方誤差函數來找到參數 \( m \) 和 \( b \) 的估計值：
\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
為了最小化 \( S(m, b) \)，我們求 \( S \) 對 \( m \) 和 \( b \) 的偏導數，然後解出該方程式得到 \( m \) 和 \( b \)：
\[ \begin{aligned}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]
經過簡化，我們得到以下兩個正規方程式：
\[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]
透過求解上述方程組，我們可以找到使平方誤差最小的 \( m \) 和 \( b \) 的值。
多元線性迴歸
在多元線性迴歸中，我們會遇到有多個自變數的情況。假設我們的資料以元組 \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\) 的形式存在。我們使用的迴歸模型是：
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
此方程式可以寫成矩陣形式：
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
在哪裡：
– \( \mathbf{y} \) 是觀測到的 y 值的列向量。
– \( \mathbf{X} \) 是觀測到的 x 值矩陣（包括第 1 列截距）。
– \( \mathbf{b} \) 是參數的列向量（包括 \( b_0 \)）。
最小平方法的目標是最小化下列二次誤差函數：
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
為了最小化函數，我們對 S 關於 \( \mathbf{b} \) 求偏導數並令其為零。由此得到多元線性迴歸的正規方程式：
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
透過求解上述方程組，我們可以得到參數 \( \mathbf{b} \): 的估計值。
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
優點與局限性
最小平方法有很多優點。它是一種非常有效率且簡便的方法。如果 \( \mathbf{X}^T \mathbf{X} \) 可逆，它能提供唯一解，因此在許多實際應用中非常可靠。
然而，最小平方法也有其限制。它對異常值非常敏感，因為平方誤差更側重於較大的差異而非較小的差異。此外，為了獲得良好的結果，必須滿足誤差服從平均值為零、變異數恆定的常態分佈這一經典假設。
實際應用
最小平方法常用於資料趨勢分析、預測和機器學習中，以建立預測模型。在金融業，最小平方法用於預測股票價格或市場表現。在醫學領域，它用於模擬藥物劑量與患者反應之間的關係。在社會科學領域，它有助於理解教育和收入等變數之間的關係。
結論
最小平方法是統計學和數據分析中的基礎技術之一。雖然概念簡單，但此方法在建模和理解變數間關係方面卻非常強大。由於其應用範圍廣泛，對專業人士和研究人員而言，深入理解方法都至關重要。展望未來，隨著大數據時代資料量的不斷增長，最小平方法等經典方法的改進和應用將變得越來越重要。
