Fórmula de regresión logística

Fórmula de regresión logística

La regresión logística es uno de los métodos más populares en estadística y ciencia de datos para modelar la relación entre varias variables independientes (predictores) y una variable dependiente categórica, especialmente binaria (por ejemplo, sí/no, éxito/fracaso, enfermo/sano). A diferencia de la regresión lineal, que produce valores continuos, la regresión logística está diseñada para estimar la probabilidad de un evento, por lo que el resultado final se encuentra en el rango de 0 a 1. En este artículo, analizaremos la fórmula de la regresión logística, el significado de cada componente y cómo interpretarla.

¿Por qué es necesaria la regresión logística?

Si utilizamos la regresión lineal para predecir probabilidades, el modelo puede generar valores inferiores a 0 o superiores a 1, lo cual resulta claramente irrazonable para la probabilidad. La regresión logística aborda este problema mediante una función no lineal que asigna al resultado calculado (que puede ser cualquier valor) un valor de probabilidad entre 0 y 1. La función más utilizada es la función logística o sigmoide.

Por ejemplo, supongamos que queremos predecir si un cliente se dará de baja en función de su edad, la duración de su suscripción y la frecuencia de uso. El resultado previsto solo tiene dos posibilidades: baja (1) o no baja (0). La regresión logística es idónea para este tipo de situación.

Fórmula básica para la regresión logística

La esencia de la regresión logística es modelar la probabilidad \( p \) de que \( Y = 1 \) (ocurra el evento), dado el valor de la variable predictora \( X \).

Los modelos de regresión logística suelen escribirse de dos formas importantes:

1) Forma de probabilidad (sigmoide)

\[
p = P(Y=1 \mid X) = \frac{1}{1 + e^{-z}}
\]

con

\[
z = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]

Información:
– \( p \) es la probabilidad del evento (por ejemplo: abandono = 1).
– \( e \) es el número de Euler (aproximadamente 2,71828).
– \( z \) es una combinación lineal de predictores.
– \( \beta_0 \) es la intersección (constante).
– \( \beta_1, \beta_2, \ldots, \beta_k \) son los coeficientes de regresión.
– \( X_1, X_2, \ldots, X_k \) son variables independientes.

La función sigmoide garantiza que, cualquiera que sea el valor de \( z \), el valor de \( p \) permanezca entre 0 y 1.

2) Forma Logit (Probabilidades Logarítmicas)

Otra forma muy importante es la forma logit, que es el logaritmo de las probabilidades:

\[
logit(p) = ln(p/1-p) = β₀ + β₁X₁ + β₂X₂ + ... + βkXₖ
\]

Información:
– \( \frac{p}{1-p} \) se denomina probabilidad (probabilidad relativa).
– \( \ln \) es el logaritmo natural.

La forma logit explica que la regresión logística modela el logaritmo de las probabilidades como una función lineal de las variables predictoras. Esto facilita la interpretación de los coeficientes, especialmente en el contexto de las razones de probabilidades.

Comprender las probabilidades y las razones de probabilidades

Para comprender realmente la fórmula de regresión logística, necesitamos distinguir entre probabilidad y probabilidades.

– Probabilidad \( p \): la posibilidad de que ocurra un evento (de 0 a 1).
– Probabilidades: comparación de la probabilidad de que algo suceda con la de que no suceda:

\[
\text{probabilidades} = \frac{p}{1-p}
\]

Ejemplo: si \( p = 0{,}8 \), entonces:

\[
\text{probabilidades} = \frac{0,8}{0,2} = 4
\]

Esto significa que la probabilidad de que el evento ocurra es cuatro veces mayor que la de que no ocurra.

En la regresión logística, el coeficiente \( \beta \) se interpreta a menudo a través de la razón de probabilidades:

\[
\text{OR} = e^{\beta}
\]

– Si \( \beta > 0 \), entonces \( e^{\beta} > 1 \): el predictor aumenta las probabilidades del evento.
– Si \( \beta < 0 \), entonces \( e^{\beta} < 1 \): el predictor disminuye las probabilidades del evento. - Si \( \beta = 0 \), entonces \( e^{\beta} = 1 \): no hay efecto sobre las probabilidades. Por ejemplo, si \( \beta_1 = 0{,}7 \), entonces: \[ e^{0{,}7} \approx 2{,}01 \] Esto significa que cada aumento de 1 unidad en \( X_1 \) multiplicará las probabilidades del evento por aproximadamente 2,01 veces (suponiendo que las demás variables permanezcan constantes). Ejemplo de un modelo de regresión logística simple Supongamos que solo tenemos una variable predictora \( X \), por ejemplo, el número de horas de estudio por semana, para predecir aprobar un examen (aprobado = 1, reprobado = 0). El modelo:

\[ \text{logit}(p) = \beta_0 + \beta_1 X \] Si el resultado estimado es: - \( \beta_0 = -4 \) - \( \beta_1 = 0{,}8 \) Entonces: \[ z = -4 + 0{,}8X \] \[ p = \frac{1}{1 + e^{-(-4 + 0{,}8X)}} = \frac{1}{1 + e^{4 - 0{,}8X}} \] Si \( X = 6 \) horas de estudio: \[ z = -4 + 0{,}8(6) = 0{,}8 \] \[ p = \frac{1}{1 + e^{-0{,}8}} \approx 0{,}69 \] Interpretación: con 6 horas de estudio por semana, la probabilidad de aprobar con una puntuación de alrededor del 69%. Estimación de coeficientes: ¿Por qué no el método de mínimos cuadrados? En la regresión lineal, los coeficientes suelen calcularse mediante el método de mínimos cuadrados. Sin embargo, en la regresión logística, la relación entre las variables predictoras y las probabilidades no es lineal, por lo que el método de mínimos cuadrados no resulta ideal. La regresión logística generalmente utiliza la estimación de máxima verosimilitud (EMV) para hallar el valor del coeficiente β que maximiza la verosimilitud de los datos observados. En resumen, la probabilidad para observaciones binarias \( y_i \in \{0,1\} \) y predicciones \( p_i \) es: \[ L(\beta) = \prod_{i=1}^{n} p_i^{y_i}(1-p_i)^{(1-y_i)} \] Luego se suele convertir a una log-verosimilitud para facilitar el cálculo: \[ \ell(\beta) = \sum_{i=1}^{n} \left[ y_i \ln(p_i) + (1-y_i)\ln(1-p_i) \right] \] El valor de \( \beta \) se elige para maximizar \( \ell(\beta) \). Los métodos numéricos como Newton-Raphson o el descenso de gradiente se utilizan a menudo en el software estadístico. Ventajas y limitaciones de la regresión logística Ventajas 1. Los resultados están en forma de probabilidades, por lo que son fáciles de traducir en decisiones. 2. La interpretación de los coeficientes es clara a través de la razón de probabilidades. 3. Adecuado para problemas de clasificación binaria y se puede extender a clasificación multinomial/ordinal. Limitaciones: 1. Asume una relación lineal entre predictores y logaritmo de probabilidades, no directamente con probabilidades. 2. Puede ser problemático si existe multicolinealidad o datos muy desequilibrados. 3. Para patrones de relación muy complejos, otros métodos no lineales (p. ej., bosque aleatorio o red neuronal) pueden ser superiores. Conclusión La fórmula de regresión logística combina esencialmente una combinación lineal de variables predictoras con una función sigmoide para producir probabilidades. La forma más común es: \[ p = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k)}} \] o en forma logit: \[ \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k \] Al comprender estas dos formas de la fórmula, podemos construir modelos predictivos para diversos problemas de clasificación binaria, interpretando la influencia de las variables a través de la razón de probabilidades \( e^{\beta} \). La regresión logística sigue siendo una base importante en el análisis de datos porque es simple, potente e interpretativa, y a menudo es el primer paso antes de intentar modelos más complejos. Si lo desea, puedo añadir un ejemplo de cálculo con datos pequeños (tabla) o un ejemplo de implementación de regresión logística en Python/R junto con la interpretación del resultado.