統計學中的刀切法
刀切法是統計學中重要的重採樣技術，尤其適用於衡量估計值的不確定性。刀切法常用於估計估計量的偏差和方差，以及建立諸如標準誤差之類的精度指標。該技術相對簡單，無需過於嚴格的分佈假設，並且可以應用於從經典統計到現代數據分析的廣泛領域。
背景和基本概念
折刀法由莫里斯·奎諾伊爾提出，後經約翰·圖基推廣。其名稱「折刀」源自於一種用途廣泛的折疊刀，因為該方法靈活，可應用於多種場景。其基本想法如下：假設我們有一個大小為 n 的樣本，我們透過每次移除一個觀測值來創建若干個“虛擬樣本”，然後對每個虛擬樣本重新計算估計量。透過觀察移除一個觀測值後估計量的變化，我們可以深入了解估計量對資料變化的穩定性。
例如，假設我們有資料 \(x_1, x_2, \dots, x_n\)，並且想要使用估計量 \( \hat{\theta}=t(x_1,\dots,x_n)\) 來估計參數 \(\theta\)。在刀切法中，我們產生 n 個大小為 \(n-1\) 的子樣本，即刪除 \(x_i\) 的第 \(i\) 個子樣本。然後我們計算：
\[
\hat{\theta}_{(i)} = t(x_1,\dots,x_{i-1},x_{i+1},\dots,x_n)
\]
值 \(\hat{\theta}_{(i)}\) 稱為留一估計值。
刀切法步驟
從程序上講，折疊刀分解法可以分以下步驟來解釋：
1. 基於完整資料計算估計量
計算整個樣本的 \(\hat{\theta}\) 值。
2. 建立 n 個留一法子樣本
對於每個 \(i = 1,2,\dots,n\)，刪除觀測值 \(x_i\) 並計算估計量 \(\hat{\theta}_{(i)}\)。
3. 計算刀切法估計量的平均值
平均留一法：
\[
\bar{\theta}_{(\cdot)} = \frac{1}{n}\sum_{i=1}^n \hat{\theta}_{(i)}
\]
4. 估計變異數（或標準誤）
刀切法方差通常以以下方式計算：
\[
\widehat{\mathrm{Var}}_{J}(\hat{\theta}) = \frac{n-1}{n}\sum_{i=1}^n \left(\hat{\theta}_{(i)} – \bar{\theta}_{(\cdot)}\right)^2
\]
標準誤差是變異數的平方根。
5. 偏差估計和偏差校正（可選）
Jackknife也可以透過以下方式估計偏差：
\[
\widehat{\mathrm{偏差}}_{J}(\hat{\theta}) = (n-1)\left(\bar{\theta}_{(\cdot)} – \hat{\theta}\right)
\]
可以透過以下方式進行偏差校正：
\[
\hat{\theta}_{J} = \hat{\theta} – \widehat{\mathrm{偏差}}_{J}(\hat{\theta})
\]
解釋：如果留一法平均值與完整估計值有系統性差異，則表示存在可以修正的偏差。
直觀範例：樣本平均值
為了直觀地理解刀切法，請考慮樣本平均值估計量：
\[
\hat{\mu} = \frac{1}{n}\sum_{i=1}^n x_i
\]
如果我們移除一個觀測值 \(x_i\)，則平均值變成：
\[
\hat{\mu}_{(i)} = \frac{1}{n-1}\sum_{j\ne i} x_j
\]
對於平均值而言，由於平均值穩定且偏差較小（在許多情況下），刀切法並不會帶來太大的「驚喜」。然而，對於更複雜的估計量——例如中位數、特定迴歸係數、相關性或非線性統計量——移除單一數據點所導致的變化可以揭示估計量的敏感性，並得出其標準誤差的有效估計值。
偽值：刀切法中的一個重要概念
在某些討論中，刀切法為每個觀測值引入了一個偽值：
\[
\theta_i^{ } = n\hat{\theta} – (n-1)\hat{\theta}_{(i)}
\]
那麼，刀切法估計量可以寫成偽值的平均值：
\[
\hat{\theta}_{J} = \frac{1}{n}\sum_{i=1}^n \theta_i^{ }
\]
偽值方法有助於解釋每個觀測值如何「貢獻」到最終估計值，並有助於進行偏差分析。
刀切法和自舉法之間的關係
刀切法（Jackknife）常與自助法（bootstrap）進行比較，因為兩者都是重採樣方法。然而，它們之間存在著重要的區別：
– Jackknife 使用子抽樣，透過移除一個資料點（留一法）來實現。重複次數是確定的：恰好為 n。
– 自舉法透過有放回地創建重採樣，通常進行多次（例如 1000 次或 10.000 次），從而提供估計量的經驗分佈的估計值。
一般來說，對於複雜問題，自助法較為靈活，通常也較準確，但刀切法較簡單，計算成本較低。在大數據集上，刀切法可以作為快速獲取粗略標準誤差的替代方法，尤其是在計算估計量成本高昂但仍可進行 n 次計算的情況下。
刀切法的優勢
折疊刀的一些優點包括：
1. 簡單易行
留一法的概念很直觀，變異數公式也很簡單。
2. 分佈假設較少
刀切法並不總是需要假設常態分佈或特定的分佈形狀。
3. 對某些計算而言效率很高
由於刀切法只需要進行 n 次估計計算，因此它通常比需要數千次重複的自舉法更輕量。
4. 可用於偏差估計
尤其是非線性估計器，它們通常不容易進行解析計算。
局限性和注意事項
雖然折疊刀威力強大，但它也有限制：
1. 對於非常不平滑的估計器，精度較低
例如，在某些情況下，中位數或分位數，或依賴極端值的統計量，刀切法有時會提供較不精確的變異數估計。
2. 並非總是適用於具有依賴關係的數據
在時間序列或空間資料中，觀測值並非相互獨立。移除單一資料點可能會破壞其依賴結構。針對這種情況，通常會採用諸如分塊刀切法（每次移除一個資料塊）之類的變體方法。
3. 對高影響力觀測敏感
如果存在異常值或「槓桿」數據，留一法估計值可能會發生顯著變化。這並非總是缺陷——事實上，它可能是一個重要的信號——但由此產生的變異數可能很大，需要謹慎解讀。
4. 在非常大的n值下可擴展
雖然比自助法更便宜，但刀切法仍然需要 n 次估計器評估。如果 n 達到數百萬，而估計器的成本又很高，這可能會造成問題。
變體：刪除-d 折疊刀和塊折疊刀
除了省略一個選項之外，還有其他變體：
– 刪除 d 個觀測值（而不是每個重複實驗刪除 1 個觀測值）。這在某些情況下可以提高準確性，尤其對於非平滑估計量而言。
– 塊刀切法：刪除包含多個相鄰觀測值的區塊，適用於具有自相關性的資料（例如，每日、每週或空間資料）。
d 或區塊大小的選擇取決於資料結構和推理目標。
折刀法在實務上的應用
折疊刀在各領域都有應用：
– 生物統計學和流行病學：當解析公式難以確定時，估計風險測量或模型參數的標準誤差。
– 計量經濟學：評估參數穩定性，尤其是在有限樣本中。
– 電腦科學與機器學習：留一法概念與交叉驗證密切相關，儘管目標不同（預測驗證與參數準確度估計）。
– 生態學和調查：多樣性或某些指標的估計以及複雜統計數據的不確定性。
關閉
刀切法是一種經典的重採樣技術，至今仍適用。它透過一個簡單的想法——剔除一個觀測值並重新計算估計量——即可提供變異數、標準誤差和偏差的估計值，而無需複雜的數學計算。然而，使用刀切法需要考慮估計量的性質、樣本量以及資料的依賴結構。在實踐中，刀切法通常是一種快速簡便的選擇，或者可以作為更穩健的重採樣方法（例如自助法）的補充。
如果您願意，我還可以添加一個簡單的數值計算範例（例如相關性或回歸），或在 R/Python 中添加一個刀切法實現，以闡明其應用。
