最小二乘法：综合分析
最小二乘法是统计回归分析中最基础的技术之一，在数据拟合、建模和预测分析中发挥着至关重要的作用。它是一种数学方法，旨在最小化观测值与预测值之差的平方和。通过这种方法，它可以为给定的数据集提供最佳拟合线或曲线。本文将探讨最小二乘法的基础、应用、推导和局限性。
历史背景
最小二乘法最早由卡尔·弗里德里希·高斯于1795年提出，当时他年仅18岁，但直到1809年才正式发表。另一位杰出的数学家阿德里安-玛丽·勒让德于1805年独立发展并发表了类似的方法。尽管如此，高斯的符号表示和方法扩展为现代最小二乘法的应用奠定了基础。
数学基础
最小二乘法最简单的形式是将线性模型拟合到一组数据点。给定一组 n 个数据点 \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\)，目标是找到一条直线 \(y = mx + c\)，使观测值 y_i\) 与直线 y_i\ 预测值之间的垂直距离（残差）平方和最小。
从数学角度来看，这个目标可以表示为：
\[ S = \sum_{i=1}^{n} (y_i – \hat{y}_i)^2 = \sum_{i=1}^{n} (y_i – (mx_i + c))^2 \]
该方程表示残差平方和 \(S\)，我们的目标是找到使 \(S\) 最小化的 \(m\)（斜率）和 \(c\)（截距）的值。
求导
为了找到使平方和 \(S\) 最小的 \(m\) 和 \(c\) 的值，我们对 \(S\) 关于 \(m\) 和 \(c\) 求偏导数，并令其为零。
1. 关于 \(m\) 的偏导数：
\[ \frac{\partial S}{\partial m} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-x_i) = 0 \]
2. 关于 \(c\) 的偏导数：
\[ \frac{\partial S}{\partial c} = \sum_{i=1}^{n} 2(y_i – (mx_i + c))(-1) = 0 \]
解这些联立方程组即可得到正规方程组：
\[ m = \frac{n(\sum x_i y_i) – (\sum x_i)(\sum y_i)}{n (\sum x_i^2) – (\sum x_i)^2} \]
\[ c = \frac{(\sum y_i)(\sum x_i^2) – (\sum x_i)(\sum x_i y_i)}{n(\sum x_i^2) – (\sum x_i)^2} \]
这些方程给出了使残差平方和最小的 \(m\) 和 \(c\) 的值。
应用
最小二乘法在各个领域都有着广泛的应用：
1. 经济与金融：用于模拟和预测经济指标，例如 GDP、通货膨胀率和股票价格。
2. 工程：应用于信号处理、控制系统和可靠性测试，以使模型与经验数据相匹配。
3. 医学：有助于将生长曲线、剂量反应曲线和其他生物过程与实验数据拟合。
4. 机器学习：线性回归模型（通常使用最小二乘法进行参数估计）是监督学习技术的基础。
5. 天文学：历史上曾被高斯用来计算天体的轨道。
变体和扩展
1. 加权最小二乘法：当观测值的方差不同时，加权最小二乘法会给每个数据点分配权重，从而最小化加权平方和。
2. 非线性最小二乘法：扩展该方法以拟合非线性模型，通常通过高斯-牛顿或列文伯格-马夸特算法等迭代技术来实现。
3. 正则化最小二乘法（岭回归）：在平方和中添加惩罚项以防止过拟合，在处理多重共线性时特别有用。
4. 广义最小二乘法：考虑相关观测值，扩展最小二乘法以处理自相关和异方差误差。
计算工具
各种软件工具和编程环境都提供了用于执行最小二乘回归的内置函数：
1. Python：NumPy 和 SciPy 等库分别提供了用于线性最小二乘拟合和非线性最小二乘拟合的函数 `numpy.linalg.lstsq` 和 `scipy.optimize.curve_fit`。
2. R：R 的综合统计环境中有 `lm()` 函数用于线性模型，`nls()` 函数用于非线性模型。
3. MATLAB：MATLAB 中的 `lsqcurvefit` 函数用于非线性拟合，并内置了对线性代数运算的支持。
限制
尽管最小二乘法应用广泛，但它也存在局限性：
1. 对异常值的敏感性：最小二乘法对异常值非常敏感，因为平方项会放大较大残差的影响。
2. 线性假设：假设变量之间存在线性关系，但这对于复杂的数据集可能并不成立。
3. 多重共线性问题：在多元线性回归中，预测变量之间的多重共线性会扭曲系数的估计。
4. 方差齐性（同方差性）：假设误差项的方差在观测值之间是恒定的，但这可能并不总是如此。
结语
尽管历史悠久，最小二乘法仍然是统计数据分析和建模的基石。它简单易用、高效实用，并且能够适应从基本线性回归到复杂非线性及广义模型等各种应用场景，使其价值非凡。对于任何从事数据分析的人来说，理解其数学基础、应用和局限性都至关重要，这能确保该方法得到恰当应用，从而获得有意义的洞见。无论是在学术界还是工业界，最小二乘法始终是理解数据内部关系并做出明智预测的强大工具。
