Formule de régression logistique
La régression logistique est l'une des méthodes les plus utilisées en statistique et en science des données pour modéliser la relation entre plusieurs variables indépendantes (prédicteurs) et une variable dépendante catégorielle, notamment binaire (par exemple, oui/non, succès/échec, malade/en bonne santé). Contrairement à la régression linéaire, qui produit des valeurs continues, la régression logistique vise à estimer la probabilité d'un événement ; le résultat final se situe donc entre 0 et 1. Dans cet article, nous aborderons la formule de la régression logistique, la signification de chaque composante et son interprétation.
Pourquoi la régression logistique est-elle nécessaire ?
Si l'on utilise la régression linéaire pour prédire des probabilités, le modèle peut produire des valeurs inférieures à 0 ou supérieures à 1, ce qui est manifestement aberrant pour des probabilités. La régression logistique remédie à ce problème en utilisant une fonction non linéaire qui associe au résultat calculé (qui peut prendre n'importe quelle valeur) une probabilité comprise entre 0 et 1. La fonction la plus couramment utilisée est la fonction logistique ou sigmoïde.
Par exemple, supposons que nous souhaitions prédire si un client va se désabonner en fonction de son âge, de la durée de son abonnement et de sa fréquence d'utilisation. Le résultat prédit ne comporte que deux possibilités : désabonnement (1) ou non-désabonnement (0). La régression logistique est parfaitement adaptée à ce type de situation.
Formule de base de la régression logistique
L'essence de la régression logistique est de modéliser la probabilité \( p \) que \( Y = 1 \) (l'événement se produit), étant donné la valeur de la variable prédictive \( X \).
Les modèles de régression logistique sont généralement écrits sous deux formes importantes :
1) Forme de probabilité (sigmoïde)
\[
p = P(Y=1 \mid X) = \frac{1}{1 + e^{-z}}
\]
roue complète
\[
z = β₀ + β₁X₁ + β₂X₂ + … + βₖXₖ
\]
Description:
– \( p \) est la probabilité de l'événement (par exemple : churn = 1).
– \( e \) est le nombre d'Euler (environ 2,71828).
– \( z \) est une combinaison linéaire de prédicteurs.
– \( \beta_0 \) est l'ordonnée à l'origine (constante).
– \( \beta_1, \beta_2, \ldots, \beta_k \) sont les coefficients de régression.
– \( X_1, X_2, \ldots, X_k \) sont des variables indépendantes.
La fonction sigmoïde garantit que quelle que soit la valeur de \( z \), la valeur de \( p \) reste entre 0 et 1.
2) Forme Logit (Log Odds)
Une autre forme très importante est la forme logit, qui est le logarithme des cotes :
\[
logit(p) = ln(p/(1-p)) = β₀ + β₁X₁ + β₂X₂ + … + βₖXₖ
\]
Description:
– \( \frac{p}{1-p} \) est appelé la cote (chance relative).
– \( \ln \) est le logarithme naturel.
La forme logit explique que la régression logistique modélise en réalité le logarithme des cotes comme une fonction linéaire des prédicteurs. Cela facilite l'interprétation des coefficients, notamment dans le contexte des rapports de cotes.
Comprendre les cotes et les rapports de cotes
Pour bien comprendre la formule de la régression logistique, il faut faire la distinction entre probabilité et cote.
– Probabilité \( p \): la chance qu'un événement se produise (0 à 1).
– Probabilités : comparaison de la probabilité qu'un événement se produise à celle qu'il ne se produise pas :
\[
\text{cotes} = \frac{p}{1-p}
\]
Exemple : si \( p = 0{,}8 \), alors :
\[
cotes = \frac{0,8}{0,2} = 4
\]
Cela signifie que l'événement a 4 fois plus de chances de se produire que de ne pas se produire.
En régression logistique, le coefficient \( \beta \) est souvent interprété à travers le rapport de cotes :
\[
\text{OR} = e^{\beta}
\]
– Si \( \beta > 0 \), alors \( e^{\beta} > 1 \) : le prédicteur augmente les chances de l'événement.
– Si \( \beta < 0 \), alors \( e^{\beta} < 1 \) : le prédicteur diminue les chances de l'événement.
– Si \( \beta = 0 \), alors \( e^{\beta} = 1 \) : il n'y a aucun effet sur les chances.
Par exemple, si \( \beta_1 = 0{,}7 \), alors :
\[
e^{0,7} ≈ 2,01
\]
Cela signifie que chaque augmentation d'une unité de \( X_1 \) multipliera les chances de l'événement par environ 2,01 (en supposant que les autres variables restent constantes).
Exemple de modèle de régression logistique simple
Supposons que nous n'ayons qu'une seule variable prédictive \( X \), par exemple le nombre d'heures d'étude par semaine, pour prédire la réussite à l'examen (réussite = 1, échec = 0). Le modèle est le suivant :
\[
logit(p) = β₀ + β₁
\]
Si le résultat de l'estimation :
– \( \beta_0 = -4 \)
– \( \beta_1 = 0{,}8 \)
Donc:
\[
z = -4 + 0{,}8X
\]
\[
p = \frac{1}{1 + e^{-(-4 + 0{,}8X)}} = \frac{1}{1 + e^{4 – 0{,}8X}}
\]
Si \( X = 6 \) heures d'étude :
\[
z = -4 + 0{,}8(6) = 0{,}8
\]
\[
p = \frac{1}{1 + e^{-0{,}8}} \approx 0{,}69
\]
Interprétation : avec 6 heures d'étude par semaine, la probabilité de réussite est d'environ 69 %.
Estimation des coefficients : pourquoi pas la méthode des moindres carrés?
En régression linéaire , les coefficients sont souvent calculés par la méthode des moindres carrés. Cependant, en régression logistique, la relation entre les prédicteurs et les probabilités étant non linéaire, l'approche par les moindres carrés n'est pas optimale. La régression logistique utilise généralement l'estimation du maximum de vraisemblance (EMV) pour déterminer la valeur du coefficient β qui maximise la vraisemblance des données observées.
En résumé, la vraisemblance des observations binaires \( y_i \in \{0,1\} \) et des prédictions \( p_i \) est :
\[
L(\beta) = \prod_{i=1}^{n} p_i^{y_i}(1-p_i)^{(1-y_i)}
\]
Elle est ensuite souvent convertie en logarithme de vraisemblance pour faciliter le calcul :
\[
\ell(\beta) = \sum_{i=1}^{n} \left[ y_i \ln(p_i) + (1-y_i)\ln(1-p_i) \right]
\]
La valeur de \( \beta \) est choisie pour maximiser \( \ell(\beta) \). Les logiciels statistiques utilisent souvent des méthodes numériques telles que Newton-Raphson ou la descente de gradient.
Avantages et limites de la régression logistique
Excès
1. Les résultats sont présentés sous forme de probabilités, ce qui facilite leur traduction en décisions.
2. L'interprétation du coefficient est claire grâce au rapport de cotes.
3. Convient aux problèmes de classification binaire et peut être étendu aux problèmes multinomiaux/ordinaux.
Limites
1. Suppose une relation linéaire entre les prédicteurs et le logarithme des cotes, plutôt qu'une relation directe avec la probabilité.
2. Cela peut poser problème en cas de multicolinéarité ou si les données sont très déséquilibrées.
3. Pour des modèles de relations très complexes, d'autres méthodes non linéaires (par exemple, forêt aléatoire ou réseau neuronal) peuvent être supérieures.
Clôture
La formule de régression logistique combine essentiellement une combinaison linéaire de variables explicatives avec une fonction sigmoïde pour produire des probabilités. La forme la plus courante est :
\[
p = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k)}}
\]
ou sous forme logit :
\[
ln(p/(1-p)) = β₀ + β₁X₁ + … + βₖXₖ
\]
En comprenant ces deux formes de la formule, nous pouvons construire des modèles prédictifs pour divers problèmes de classification binaire tout en interprétant l'influence des variables grâce au rapport de cotes \( e^{\beta} \). La régression logistique demeure un outil fondamental en analyse de données car elle est simple, puissante et interprétable ; elle constitue souvent la première étape avant d'aborder des modèles plus complexes.
Si vous le souhaitez, je peux ajouter un exemple de calcul avec de petites données (tableau), ou un exemple d'implémentation de la régression logistique en Python/R avec une interprétation des résultats.
