统计学中的刀切法
刀切法是统计学中一种重要的重采样技术，尤其适用于衡量估计值的不确定性。刀切法常用于估计估计量的偏差和方差，以及构建诸如标准误差之类的精度指标。该技术相对简单，无需过于严格的分布假设，并且可以应用于从经典统计学到现代数据分析的广泛领域。
背景和基本概念
折刀法由莫里斯·奎诺伊尔提出，后经约翰·图基推广。其名称“折刀”源于一种用途广泛的折叠刀，因为该方法灵活，可应用于多种场景。其基本思想如下：假设我们有一个大小为 n 的样本，我们通过每次移除一个观测值来创建若干个“虚拟样本”，然后对每个虚拟样本重新计算估计量。通过观察移除一个观测值后估计量的变化，我们可以深入了解估计量对数据变化的稳定性。
例如，假设我们有数据 \(x_1, x_2, \dots, x_n\)，并且想要使用估计量 \( \hat{\theta}=t(x_1,\dots,x_n)\) 来估计参数 \(\theta\)。在刀切法中，我们生成 n 个大小为 \(n-1\) 的子样本，即删除 \(x_i\) 的第 \(i\) 个子样本。然后我们计算：
\[
\hat{\theta}_{(i)} = t(x_1,\dots,x_{i-1},x_{i+1},\dots,x_n)
\]
值 \(\hat{\theta}_{(i)}\) 称为留一估计值。
刀切法步骤
从程序上讲，折叠刀分解法可以分以下步骤进行解释：
1. 基于完整数据计算估计量
计算整个样本的 \(\hat{\theta}\) 值。
2. 创建 n 个留一法子样本
对于每个 \(i = 1,2,\dots,n\)，删除观测值 \(x_i\) 并计算估计量 \(\hat{\theta}_{(i)}\)。
3. 计算刀切法估计量的平均值
平均留一法：
\[
\bar{\theta}_{(\cdot)} = \frac{1}{n}\sum_{i=1}^n \hat{\theta}_{(i)}
\]
4. 估计方差（或标准误差）
刀切法方差通常按以下方式计算：
\[
\widehat{\mathrm{Var}}_{J}(\hat{\theta}) = \frac{n-1}{n}\sum_{i=1}^n \left(\hat{\theta}_{(i)} – \bar{\theta}_{(\cdot)}\right)^2
\]
标准误差是方差的平方根。
5. 偏差估计和偏差校正（可选）
Jackknife还可以通过以下方式估计偏差：
\[
\widehat{\mathrm{偏差}}_{J}(\hat{\theta}) = (n-1)\left(\bar{\theta}_{(\cdot)} – \hat{\theta}\right)
\]
可以通过以下方式进行偏差校正：
\[
\hat{\theta}_{J} = \hat{\theta} – \widehat{\mathrm{偏差}}_{J}(\hat{\theta})
\]
解释：如果留一法均值与完整估计值存在系统性差异，则表明存在可以纠正的偏差。
直观示例：样本均值
为了直观地理解刀切法，请考虑样本均值估计量：
\[
\hat{\mu} = \frac{1}{n}\sum_{i=1}^n x_i
\]
如果我们移除一个观测值 \(x_i\)，则均值变为：
\[
\hat{\mu}_{(i)} = \frac{1}{n-1}\sum_{j\ne i} x_j
\]
对于平均值而言，由于平均值稳定且偏差较小（在很多情况下），刀切法并不会带来太大的“惊喜”。然而，对于更复杂的估计量——例如中位数、特定回归系数、相关性或非线性统计量——移除单个数据点所导致的变化可以揭示估计量的敏感性，并得出其标准误差的有效估计值。
伪值：刀切法中的一个重要概念
在某些讨论中，刀切法为每个观测值引入了一个伪值：
\[
\theta_i^{ } = n\hat{\theta} – (n-1)\hat{\theta}_{(i)}
\]
那么，刀切法估计量可以写成伪值的平均值：
\[
\hat{\theta}_{J} = \frac{1}{n}\sum_{i=1}^n \theta_i^{ }
\]
伪值方法有助于解释每个观测值如何“贡献”到最终估计值，并有助于进行偏差分析。
刀切法和自举法之间的关系
刀切法（Jackknife）常与自助法（bootstrap）进行比较，因为两者都是重采样方法。然而，它们之间存在重要的区别：
– Jackknife 使用子抽样，通过移除一个数据点（留一法）来实现。重复次数是确定的：恰好为 n。
– 自举法通过有放回地创建重采样，通常进行多次（例如 1000 次或 10.000 次），从而提供估计量的经验分布的估计值。
一般来说，对于复杂问题，自助法更灵活，通常也更准确，但刀切法更简单，计算成本更低。在大数据集上，刀切法可以作为快速获取粗略标准误差的替代方法，尤其是在计算估计量成本高昂但仍然可以进行 n 次计算的情况下。
刀切法的优势
折叠刀的一些优点包括：
1. 简单易行
留一法的概念很直观，方差公式也很简单。
2. 分布假设较少
刀切法并不总是需要假设正态分布或特定的分布形状。
3. 对某些计算而言效率很高
由于刀切法只需要进行 n 次估计计算，因此它通常比需要数千次重复的自举法更轻量级。
4. 可用于偏差估计
尤其是非线性估计器，它们通常不容易进行解析计算。
局限性和注意事项
虽然折叠刀威力强大，但它也有局限性：
1. 对于非常不平滑的估计器，精度较低
例如，在某些情况下，中位数或分位数，或者依赖于极端值的统计量，刀切法有时会提供不太精确的方差估计。
2. 并非总是适用于具有依赖关系的数据
在时间序列或空间数据中，观测值并非相互独立。移除单个数据点可能会破坏其依赖结构。针对这种情况，通常会采用诸如分块刀切法（每次移除一个数据块）之类的变体方法。
3. 对高影响力观测敏感
如果存在异常值或“杠杆”数据，留一法估计值可能会发生显著变化。这并非总是缺陷——事实上，它可能是一个重要的信号——但由此产生的方差可能很大，需要谨慎解读。
4. 在非常大的n值下可扩展
虽然比自助法更便宜，但刀切法仍然需要 n 次估计器评估。如果 n 达到数百万，而估计器的成本又很高，这可能会造成问题。
变体：删除-d 折叠刀和块折叠刀
除了省略一个选项之外，还有其他变体：
– 删除 d 个观测值（而不是每个重复实验删除 1 个观测值）。这在某些情况下可以提高准确性，尤其对于非平滑估计量而言。
– 块刀切法：删除包含多个相邻观测值的块，适用于具有自相关性的数据（例如，每日、每周或空间数据）。
d 或块大小的选择取决于数据结构和推理目标。
折刀法在实践中的应用
折叠刀在各个领域都有应用：
– 生物统计学和流行病学：当解析公式难以确定时，估计风险测量或模型参数的标准误差。
– 计量经济学：评估参数稳定性，尤其是在有限样本中。
– 计算机科学和机器学习：留一法概念与交叉验证密切相关，尽管目标不同（预测验证与参数准确度估计）。
– 生态学和调查：多样性或某些指标的估计以及复杂统计数据的不确定性。
关闭
刀切法是一种经典的重采样技术，至今仍然适用。它通过一个简单的思路——剔除一个观测值并重新计算估计量——即可提供方差、标准误差和偏差的估计值，而无需复杂的数学计算。然而，使用刀切法需要考虑估计量的性质、样本量以及数据的依赖结构。在实践中，刀切法通常是一种快速简便的选择，或者可以作为更稳健的重采样方法（例如自助法）的补充。
如果您愿意，我还可以添加一个简单的数值计算示例（例如相关性或回归），或者在 R/Python 中添加一个刀切法实现，以阐明其应用。
