统计学中的交叉验证方法
在统计学和数据科学中，最大的挑战之一是确保模型不仅在训练数据上表现良好，而且在新数据（以前从未见过的数据）上也表现良好。这个问题通常被称为泛化能力。交叉验证正是为了解决这个问题而设计的：它是一种模型评估方法，旨在比仅使用单一数据集进行评估更公平、更一致地衡量模型性能。
为什么需要交叉验证？
当我们构建预测模型时——例如，用于预测房价的回归模型或用于检测垃圾邮件的分类模型——我们通常会将数据分成两部分：训练集和测试集。模型先在训练数据上进行训练，然后在测试数据上进行评估。这种方法虽然简单，但存在一个缺点：评估结果很大程度上取决于数据的划分方式。如果测试数据恰好是“容易”的，那么模型性能看起来会很高；如果测试数据恰好是“难”的，那么模型性能看起来会很低。
交叉验证通过在不同的数据集上执行多次训练和测试过程，然后对结果取平均值，从而减少对单一数据集的依赖。这使得性能评估结果更能代表实际情况。
交叉验证的基本概念
交叉验证的本质是将数据分成若干部分（折叠）。在每次迭代中，一部分折叠用于训练模型，另一部分折叠用于测试模型。这个过程重复进行，直到所有折叠都作为测试数据使用过。然后，将每次迭代的评估分数（通常与均值，有时也与标准差）结合起来，以全面了解模型的性能。
例如，在k折交叉验证中（k=5），数据被分成5折。第一次迭代：第1折作为测试集，第2折到第5折作为训练集。第二次迭代：第2折作为测试集，依此类推，直到第5折。
常见的交叉验证类型
1. 留出验证法（训练集-测试集划分）
虽然严格来说并非“重复”交叉验证，但留出法通常被视为一种基本的验证步骤。数据只被分割一次，例如，80% 用于训练，20% 用于测试。其优点是快速简便，缺点是由于依赖于单次分割，结果方差较大。
当数据量非常大时，通常会使用这种方法，这样即使只有一个分区也具有足够的代表性。
2. K折交叉验证
这是最常用的交叉验证方法。k 参数通常选择 5 或 10，因为这样可以平衡计算成本和估计质量。
优点：
– 更有效地利用数据（每个数据都成为训练集和测试集的一部分）。
– 绩效评估比保留意见更稳定。
凯库兰甘：
– 耗时更长，因为它需要训练模型 k 次。
– 如果数据量非常大或者模型非常复杂，计算成本可能会很高。
3. 分层K折交叉验证
对于分类问题，尤其是在类别不平衡的情况下（例如，90% 的负样本，10% 的正样本），常规 k 折交叉验证可能会产生类别分布偏斜的折叠。分层 k 折交叉验证可以确保每个折叠中各类别的比例与原始数据中各类别的比例大致相同。
在评估疾病检测模型、欺诈或其他少数群体规模较小的案例时，这一点尤为重要。
4. 留一交叉验证（LOOCV）
在留一交叉验证（LOOCV）中，折数等于数据量（k = n）。这意味着在每次迭代中，只有一个观测值会成为测试数据，其余的则成为训练数据。
优点：
– 每次迭代几乎都使用所有数据进行训练，因此估计偏差可能很小。
凯库兰甘：
– 对于大型数据集，计算成本非常高。
– 在某些类型的问题中，估计方差可能很高，因为测试集每次迭代只有一个点。
当数据量非常少时，例如样本量较小的研究，通常会使用留一交叉验证法 (LOOCV)。
5. 重复K折交叉验证
该方法重复进行 k 折交叉验证多次，每次使用不同的（随机）折叠分配。其目的是降低对单次折叠分配的依赖性，从而获得更稳定的估计结果。
例如，“10 倍重复 3 次”意味着运行 10 倍 3 次（总共 30 次训练和评估）。
6. 时间序列交叉验证
对于时间序列数据，传统的交叉验证并不适用，因为它可能会将“未来信息”泄露到训练过程中。在时间序列中，时间顺序必须得到保留。因此，诸如以下方法更为适用：
– 滚动/滑动窗口：在初始阶段进行训练，然后在下一阶段进行测试，然后窗口移动。
– 扩大窗口：训练数据随时间增加，然后在下一个周期进行测试。
该方法适用于月度销售预测、股票价格或实时传感器。
交叉验证中的评估指标
交叉验证只是一种评估框架；所使用的指标取决于问题的类型：
– 回归：MSE、RMSE、MAE、R 平方。
– 分类：准确率、精确率、召回率、F1 分数、ROC-AUC。
– 不平衡分类：ROC-AUC、PR-AUC（精确率-召回率）、平衡准确率。
交叉验证结果通常以均值和标准差的形式报告（例如，准确率 0,89 ± 0,03）。标准差有助于了解模型的稳定性。
用于模型选择和参数调优的交叉验证
交叉验证的主要用途之一是模型选择和超参数调优。例如：
– 在 k-NN 中选择 k。
– 选择决策树的最大深度。
– 确定岭回归/套索回归中的正则化参数。
– 确定 SVM 中的 C 和 gamma。
最佳实践是，使用交叉验证在训练数据上进行调优，而最终的测试数据则单独保存，用于最终评估。这可以防止模型过度拟合评估数据而导致“过度乐观”。
一种更严谨的方法称为嵌套交叉验证，即在交叉验证中嵌套交叉验证：外层循环用于评估，内层循环用于调优。这种方法在研究中很受欢迎，因为它能提供更客观的性能估计。
交叉验证的优势和局限性
主要优势：
1. 提供比单一部门更稳定的绩效评估。
2. 有效利用数据，尤其是在数据集较小的情况下。
3. 有助于选择更通用的模型，并降低过拟合的风险。
主旨：
1. 随着训练重复次数的增加，计算成本也会增加。
2. 如果预处理做得不好，仍然可能发生数据泄露。
3. 对于分组数据（例如，具有多个记录的患者数据），需要一种特殊方法，例如分组 k 折交叉验证，这样一个人就不会同时出现在训练集和测试集中。
交叉验证的良好实践
为了使评估有效，必须遵循以下几个重要原则：
– 在每个折叠中分别执行预处理（归一化、插补、特征选择），而不是对整个数据集执行一次。否则，测试折叠中的信息可能会泄露到训练折叠中。
– 使用分层 k 折交叉验证法对类别不平衡的情况进行分类。
– 对时间序列数据采用特殊方案，以确保顺序不被破坏。
– 如果您的目标是在部署前评估模型的最终性能，请将最终测试集放在一边。
关闭
交叉验证是应用统计学和机器学习中一项基础工具，用于更公平、更稳健地评估模型性能。通过重复数据共享，交叉验证有助于减少训练集和测试集划分选择造成的偏差，检测过拟合，并支持模型选择和超参数调优。虽然计算成本较高，但其带来的收益通常是值得的，尤其是在数据集较小或基于模型结果的决策具有重大影响的情况下。通过选择合适的交叉验证类型并实施最佳实践，我们可以构建更可靠的模型，并将其应用于真实世界的数据。
