Fórmula de regressió logística
La regressió logística és un dels mètodes més populars en estadística i ciència de dades per modelar la relació entre diverses variables independents (predictors) i una variable dependent categòrica, especialment binària (per exemple, sí/no, èxit/fracàs, malalt/saludable). A diferència de la regressió lineal, que produeix valors continus, la regressió logística està dissenyada per estimar la probabilitat d'un esdeveniment, de manera que el resultat final es troba en el rang de 0 a 1. En aquest article, parlarem de la fórmula de la regressió logística, el significat de cada component i com interpretar-la.
Per què cal la regressió logística?
Si fem servir la regressió lineal per predir probabilitats, el model pot produir valors inferiors a 0 o superiors a 1, cosa que és clarament irraonable per a la probabilitat. La regressió logística aborda aquest problema mitjançant una funció no lineal que assigna el resultat calculat (que pot ser qualsevol valor) a un valor de probabilitat entre 0 i 1. La funció més utilitzada és la funció logística o sigmoide.
Per exemple, suposem que volem predir si un client abandonarà el servei en funció de la seva edat, la durada de la subscripció i la freqüència d'ús. El resultat previst només té dues possibilitats: abandonament (1) o cap abandonament (0). La regressió logística és adequada per a aquest tipus de situació.
Fórmula bàsica per a la regressió logística
L'essència de la regressió logística és modelar la probabilitat (p) que (Y = 1) (l'esdeveniment es produeixi), donat el valor de la variable predictora (X).
Els models de regressió logística s'escriuen normalment en dues formes importants:
1) Forma de probabilitat (sigmoide)
\[
p = P(Y=1 \mid X) = \frac{1}{1 + e^{-z}}
\]
dengan
\[
z = β0 + β1 X1 + β2 X2 + βk Xk
\]
Informació:
– \(p\) és la probabilitat de l'esdeveniment (per exemple: churn = 1).
– \(e \) és el nombre d'Euler (aproximadament 2,71828).
– \(z\) és una combinació lineal de predictors.
– \( \beta_0 \) és la intersecció (constant).
– \( \beta_1, \beta_2, \ldots, \beta_k \) són els coeficients de regressió.
– \(X_1, X_2, ..., X_k \) són variables independents.
La funció sigmoide garanteix que, independentment del valor de \(z\), el valor de \(p\) es mantingui entre 0 i 1.
2) Formulari Logit (Log Odds)
Una altra forma molt important és la forma logit, que és el logaritme de les probabilitats:
\[
\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]
Informació:
– \( \frac{p}{1-p} \) s'anomena probabilitat (oportunitat relativa).
– \( \ln \) és el logaritme natural.
La forma logit explica que la regressió logística en realitat modela les probabilitats logarítmiques com una funció lineal dels predictors. Això fa que la interpretació dels coeficients sigui més clara, especialment en el context de les ràtios de probabilitats.
Comprensió de les probabilitats i les ràtios de probabilitats
Per entendre realment la fórmula de regressió logística, hem de distingir entre probabilitat i odds.
– Probabilitat \(p \): la possibilitat que es produeixi un esdeveniment (0 a 1).
– Probabilitats: comparació de la probabilitat que alguna cosa passi amb la que no passi:
\[
\text{probabilitats} = \frac{p}{1-p}
\]
Exemple: si \(p = 0{,}8 \), aleshores:
\[
\text{probabilitats} = \frac{0{,}8}{0{,}2} = 4
\]
Això significa que l'esdeveniment té 4 vegades més probabilitats que passi que no.
En la regressió logística, el coeficient β sovint s'interpreta mitjançant la raó de probabilitats:
\[
O = e^{\beta}
\]
– Si (β > 0), aleshores (e β > 1): el predictor augmenta les probabilitats de l'esdeveniment.
– Si \( \beta < 0 \), aleshores \( e^{\beta} < 1 \): el predictor disminueix les probabilitats de l'esdeveniment.
– Si \(\beta = 0 \), aleshores \(e^{\beta} = 1 \): no hi ha cap efecte sobre les probabilitats.
Per exemple, si (β1 = 0,7), aleshores:
\[
e^{0{,}7} \approx 2{,}01
\]
Això significa que cada unitat d'augment de \(X_1\) multiplicarà les probabilitats de l'esdeveniment per aproximadament 2,01 vegades (suposant que les altres variables romanguin constants).
Exemple d'un model de regressió logística simple
Suposem que només tenim una variable predictora \(X\), per exemple el nombre d'hores d'estudi per setmana, per predir l'aprovació de l'examen (aprovat = 1, suspès = 0). El model és:
\[
\text{logit}(p) = \beta_0 + \beta_1
\]
Si el resultat de l'estimació:
– (β0 = -4)
– (β1 = 0, 8)
Així doncs:
\[
z = -4 + 0{,}8X
\]
\[
p = \frac{1}{1 + e^{-(-4 + 0{,}8X)}} = \frac{1}{1 + e^{4 – 0{,}8X}}
\]
Si \(X = 6 \) hores d'estudi:
\[
z = -4 + 0{,}8(6) = 0{,}8
\]
\[
p = \frac{1}{1 + e^{-0{,}8}} \approx 0{,}69
\]
Interpretació: amb 6 hores d'estudi per setmana, la probabilitat d'aprovar és d'aproximadament el 69%.
Estimació de coeficients: per què no el mètode dels mínims quadrats?
En la regressió lineal , els coeficients sovint es calculen mitjançant el mètode dels mínims quadrats. Tanmateix, en la regressió logística, la relació entre els predictors i les probabilitats no és lineal, de manera que l'enfocament dels mínims quadrats no és ideal. La regressió logística generalment utilitza l'estimació de màxima probabilitat (MLE) per trobar el valor del coeficient β que maximitza la probabilitat de les dades observades.
En resum, la probabilitat per a observacions binàries (y_i \in \{0,1\}) i prediccions (p_i\) és:
\[
L(β) = (i=1)^{n) p_i^{y_i}(1-p_i)^{(1-y_i)}
\]
Sovint es converteix en una probabilitat logarítmica per facilitar el càlcul:
\[
\ell(\beta) = \sum_{i=1}^{n} \left[y_i \ln(p_i) + (1-y_i)\ln(1-p_i) \right]
\]
El valor de \(\beta\) s'escull per maximitzar \(\ell(\beta)\). Els mètodes numèrics com ara Newton-Raphson o el descens de gradient sovint s'utilitzen en programes estadístics.
Avantatges i limitacions de la regressió logística
Excés
1. Els resultats són en forma de probabilitats, de manera que són fàcils de traduir en decisions.
2. La interpretació del coeficient és clara a través de la ràtio de probabilitats.
3. Apte per a problemes de classificació binària i es pot estendre a multinomials/ordinals.
Limitacions
1. Assumeix una relació lineal entre els predictors i les probabilitats logarítmiques, en lloc de directament amb la probabilitat.
2. Pot ser problemàtic si hi ha multicol·linealitat o si les dades estan molt desequilibrades.
3. Per a patrons de relacions molt complexos, altres mètodes no lineals (per exemple, bosc aleatori o xarxa neuronal) poden ser superiors.
Tancament
La fórmula de regressió logística combina essencialment una combinació lineal de variables predictores amb una funció sigmoide per produir probabilitats. La forma més comuna és:
\[
p = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k)}}
\]
o en forma logit:
\[
\ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k
\]
En comprendre aquestes dues formes de la fórmula, podem construir models predictius per a diversos problemes de classificació binària mentre interpretem la influència de les variables a través de la ràtio de probabilitats (e^{\beta}). La regressió logística continua sent una base important en l'anàlisi de dades perquè és senzilla, potent i interpretativa, i sovint és el primer pas abans d'intentar models més complexos.
Si voleu, puc afegir un exemple de càlcul amb dades petites (taula) o una implementació d'exemple de regressió logística en Python/R juntament amb la interpretació de la sortida.
