Método de validación cruzada en estatística
En estatística e ciencia de datos, un dos maiores desafíos é garantir que un modelo non só teña un bo rendemento cos datos nos que foi adestrado, senón que tamén teña un bo rendemento con datos novos e non vistos previamente. Este problema adoita denominarse xeneralización. Aquí é onde entra a validación cruzada: un método de avaliación de modelos deseñado para medir o rendemento do modelo de forma máis xusta e consistente que unha única avaliación usando un único conxunto de datos.
Por que é necesaria a validación cruzada?
Cando construímos un modelo preditivo (por exemplo, un modelo de regresión para predicir os prezos da vivenda ou un modelo de clasificación para detectar correo lixo), normalmente dividimos os datos en dúas partes: un conxunto de adestramento e un conxunto de proba. O modelo adéstrase cos datos de adestramento e despois avalíase cos datos de proba. Esta estratexia é sinxela, pero ten un inconveniente: os resultados da avaliación poden depender en gran medida de como se dividen os datos. Se os datos de proba son "fáciles", o rendemento parece alto; se os datos de proba son "difíciles", o rendemento parece baixo.
A validación cruzada reduce a dependencia dun único conxunto de datos ao realizar varios procesos de adestramento e probas en diferentes conxuntos de datos e, a continuación, calcular a media dos resultados. Isto dá lugar a estimacións de rendemento que son máis representativas das condicións do mundo real.
Conceptos básicos de validación cruzada
A esencia da validación cruzada é dividir os datos en varias partes (pregas). En cada iteración, algunhas pregas úsanse para adestrar o modelo e unha prega úsase para probalo. Este proceso repítese ata que todas as pregas se usaron como datos de proba. As puntuacións de avaliación de cada iteración combínanse entón (normalmente coa media e ás veces tamén coa desviación estándar) para proporcionar unha visión xeral do rendemento do modelo.
Por exemplo, na validación cruzada de k pregamentos con k=5, os datos divídense en 5 pregamentos. A primeira iteración: pregamento 1 como proba, pregamentos 2–5 como adestramento. A segunda iteración: pregamento 2 como proba e así sucesivamente ata o pregamento 5.
Tipos comúns de validación cruzada
1. Validación de reserva (división de adestramento e proba)
Aínda que tecnicamente non se trata dunha validación cruzada "repetida", o método de retención adoita considerarse un paso de validación básico. Os datos divídense unha vez, por exemplo, 80 % para adestramento e 20 % para probas. A vantaxe é que é rápido e sinxelo, pero a desvantaxe é a alta varianza nos resultados porque se basea nunha única división.
Este método úsase normalmente cando os datos son moi grandes, de xeito que incluso unha división é suficientemente representativa.
2. Validación cruzada de K-Fold
Esta é a forma máis popular de validación cruzada. O parámetro k adoita elixirse como 5 ou 10 porque se considera que equilibra o custo computacional e a calidade da estimación.
Exceso:
– Empregar os datos de forma máis eficiente (cada dato convértese en parte do adestramento e as probas).
– As estimacións de rendemento son máis estables que as de reserva.
Falta:
– Tarda máis porque adestra o modelo k veces.
– Se os datos son moi grandes ou o modelo é moi complexo, os custos computacionais poden ser elevados.
3. Validación cruzada de K-Fold estratificada
Para problemas de clasificación, especialmente se as clases están desequilibradas (por exemplo, 90 % negativas, 10 % positivas), o pregamento k regular pode producir pregamentos con distribucións de clases asimétricas. O pregamento k estratificado garante que a proporción de clases en cada pregamento sexa aproximadamente a mesma que a proporción de clases nos datos orixinais.
Isto é especialmente importante á hora de avaliar modelos de detección de enfermidades, fraudes ou outros casos nos que a clase minoritaria é pequena.
4. Validación cruzada de deixar un fóra (LOOCV)
En LOOCV, o número de pregamentos é igual á cantidade de datos (k = n). Isto significa que en cada iteración, só unha observación se converte nos datos de proba, mentres que o resto se converte nos datos de adestramento.
Exceso:
– Case todos os datos úsanse para o adestramento en cada iteración, polo que o sesgo de estimación pode ser pequeno.
Falta:
– Moi caro computacionalmente para conxuntos de datos grandes.
– A varianza de estimación pode ser alta nalgúns tipos de problemas porque o conxunto de proba é só dun punto por iteración.
O LOOCV úsase a miúdo cando hai moi poucos datos, por exemplo, en investigacións cun tamaño de mostra pequeno.
5. Validación cruzada de pregamentos K repetidos
Este método repite a k-prega varias veces con diferentes asignacións de pregamento (aleatorias). O obxectivo é reducir a dependencia dunha única asignación de pregamento e producir estimacións máis estables.
Por exemplo, «repetido 10 veces 3 veces» significa executar 10 veces 3 veces (un total de 30 adestramentos e avaliacións).
6. Validación cruzada de series temporais
Para datos de series temporais, a validación cruzada convencional non é axeitada porque pode "filtrar o futuro" no proceso de adestramento. Nas series temporais, débese preservar a orde temporal. Polo tanto, enfoques como:
– Fiestra móbil/deslizante: adestramento no período inicial e logo proba no seguinte período; despois, a fiestra cambia.
– Ventá en expansión: os datos de adestramento aumentan co tempo e logo compróbanse no seguinte período.
Este método é relevante para a predición de vendas mensuais, os prezos das accións ou os sensores en tempo real.
Métricas de avaliación na validación cruzada
A validación cruzada é só un marco de avaliación; as métricas empregadas dependen do tipo de problema:
– Regresión: MSE, RMSE, MAE, R ao cadrado.
Clasificación: exactitude, precisión, recuperación, puntuación F1, ROC-AUC.
Clasificación desequilibrada: ROC-AUC, PR-AUC (precisión-recuperación), exactitude equilibrada.
Os resultados da validación cruzada adoitan presentarse como unha media métrica e unha desviación estándar (por exemplo, cunha precisión de 0,89 ± 0,03). A desviación estándar axuda a comprender a estabilidade do modelo.
Validación cruzada para a selección de modelos e o axuste de parámetros
Un dos principais usos da validación cruzada é a selección de modelos e o axuste de hiperparámetros. Por exemplo:
– Escollendo k en k-NN.
– Selecciona a profundidade máxima na árbore de decisións.
– Determinar os parámetros de regularización na regresión de cristas/lazos.
– Determinar C e gamma en SVM.
Nas boas prácticas, o proceso de axuste realízase nos datos de adestramento mediante validación cruzada, mentres que os datos de proba finais se manteñen separados para a avaliación final. Isto evita o "exceso de optimismo" debido ao axuste excesivo do modelo aos datos de avaliación.
Unha estratexia máis rigorosa chámase validación cruzada aniñada, que é unha validación cruzada dentro da validación cruzada: o bucle externo é para a avaliación e o bucle interno para o axuste. Isto é popular na investigación porque proporciona estimacións de rendemento máis imparciais.
Vantaxes e limitacións da validación cruzada
Principais vantaxes:
1. Ofrece estimacións de rendemento máis estables que unha única división.
2. Empregar os datos de forma eficiente, especialmente cando o conxunto de datos é pequeno.
3. Axuda a seleccionar un modelo máis xeral e reduce o risco de sobreaxuste.
Limitacións:
1. Os custos computacionais aumentan a medida que o adestramento se repite moitas veces.
2. As fugas de datos aínda poden producirse se o preprocesamento non se realiza correctamente.
3. Para datos agrupados (por exemplo, datos de pacientes que teñen varios rexistros), necesítase un método especial, como o k-pregamento grupal, para que un individuo non apareza no tren e na proba ao mesmo tempo.
Boas prácticas no uso da validación cruzada
Para que unha avaliación sexa válida, débense seguir varios principios importantes:
– Realizar o preprocesamento (normalización, imputación, selección de características) dentro de cada pregamento, non unha vez para todos os datos. Se non, a información do pregamento de proba podería filtrarse ao pregamento do tren.
– Usar o pregamento k estratificado para a clasificación con clases desequilibradas.
– Empregar un esquema especial para os datos de series temporais para que non se viole a orde.
– Reserva o conxunto de probas finais se o teu obxectivo é avaliar o rendemento final do modelo antes do despregamento.
Peche
A validación cruzada é unha ferramenta fundamental na estatística aplicada e na aprendizaxe automática para avaliar o rendemento dos modelos de forma máis xusta e robusta. Ao utilizar o intercambio repetido de datos, a validación cruzada axuda a reducir o sesgo causado pola selección dividida de probas de adestramento, detecta o sobreaxuste e admite a selección de modelos e o axuste de hiperparámetros. Aínda que o custo computacional é maior, os beneficios adoitan compensar, especialmente cando o conxunto de datos é pequeno ou cando as decisións baseadas nos resultados do modelo teñen consecuencias significativas. Ao elixir o tipo correcto de validación cruzada e implementar as mellores prácticas, podemos construír modelos máis fiables que estean listos para ser usados en datos do mundo real.
