Formula de regresie logistică
Regresia logistică este una dintre cele mai populare metode în statistică și știința datelor pentru modelarea relației dintre o serie de variabile independente (predictori) și o variabilă dependentă categorială, în special binară (de exemplu, da/nu, succes/eșec, bolnav/sănătos). Spre deosebire de regresia liniară, care produce valori continue, regresia logistică este concepută pentru a estima probabilitatea unui eveniment, astfel încât rezultatul final să fie în intervalul 0-1. În acest articol, vom discuta formula regresiei logistice, semnificația fiecărei componente și cum să o interpretăm.
De ce este necesară regresia logistică?
Dacă folosim regresia liniară pentru a prezice probabilitățile, modelul poate produce valori sub 0 sau peste 1, ceea ce este în mod evident nerezonabil pentru probabilitate. Regresia logistică abordează această problemă utilizând o funcție neliniară care mapează rezultatul calculat (care poate fi orice valoare) la o valoare de probabilitate între 0 și 1. Cea mai frecvent utilizată funcție este funcția logistică sau sigmoidă.
De exemplu, să presupunem că vrem să prezicem dacă un client va abandona abonamentul în funcție de vârsta sa, durata abonamentului și frecvența de utilizare. Rezultatul prezis are doar două posibilități: abandonare (1) sau nicio abandonare (0). Regresia logistică este potrivită pentru acest tip de situație.
Formula de bază pentru regresia logistică
Esența regresiei logistice constă în modelarea probabilității \(p\) ca \(Y = 1\) (evenimentul să aibă loc), dată fiind valoarea variabilei predictor \(X\).
Modelele de regresie logistică sunt de obicei scrise în două forme importante:
1) Formula de probabilitate (sigmoidă)
\[
p = P(Y=1 \mid X) = \frac{1}{1 + e^{-z}}
\]
dengan
\[
z = β0 + β1 X1 + β2 X2 + βk Xk
\]
Informație:
– \(p\) este probabilitatea evenimentului (de exemplu: churn = 1).
– \(e \) este numărul lui Euler (aproximativ 2,71828).
– \(z\) este o combinație liniară de predictori.
– \( \beta_0 \) este intersecția cu axa (constanta).
– \( \beta_1, \beta_2, \ldots, \beta_k \) sunt coeficienții de regresie.
– \(X_1, X_2, \ldots, X_k \) sunt variabile independente.
Funcția sigmoidă asigură că, indiferent de valoarea lui \(z\), valoarea lui \(p\) rămâne între 0 și 1.
2) Formular Logit (Log Odds)
O altă formă foarte importantă este forma logit, care este logaritmul probabilităților:
\[
\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]
Informație:
– \( \frac{p}{1-p} \) se numește probabilitate (șansă relativă).
– \( \ln \) este logaritmul natural.
Forma logit explică faptul că regresia logistică modelează de fapt logaritmul șanselor ca o funcție liniară a predictorilor. Acest lucru face interpretarea coeficienților mai clară, în special în contextul raporturilor de șanse.
Înțelegerea șanselor și a raporturilor de șanse
Pentru a înțelege cu adevărat formula regresiei logistice, trebuie să facem distincția între probabilitate și șanse.
– Probabilitatea \(p \): șansa de producere a unui eveniment (0 la 1).
– Probabilități: compararea probabilității ca ceva să se întâmple cu cea a faptului că nu se întâmplă:
\[
\text{probabilitate} = \frac{p}{1-p}
\]
Exemplu: dacă \(p = 0{,}8 \), atunci:
\[
\text{cote} = \frac{0{,}8}{0{,}2} = 4
\]
Asta înseamnă că evenimentul este de 4 ori mai probabil să se întâmple decât să nu se întâmple.
În regresia logistică, coeficientul β este adesea interpretat prin raportul de șanse:
\[
SAU = e^beta
\]
– Dacă (β > 0), atunci (eβ > 1): predictorul crește probabilitatea evenimentului.
– Dacă \( \beta < 0 \), atunci \( e^{\beta} < 1 \): predictorul scade probabilitatea evenimentului. - Dacă \( \beta = 0 \), atunci \( e^{\beta} = 1 \): nu există niciun efect asupra probabilității. De exemplu, dacă \( \beta_1 = 0{,}7 \), atunci: \[ e^{0{,}7} \approx 2{,}01 \] Aceasta înseamnă că fiecare creștere cu o unitate a \( X_1 \) va multiplica probabilitatea evenimentului de aproximativ 2,01 ori (presupunând că celelalte variabile rămân constante). Exemplu de model de regresie logistică simplă Să presupunem că avem o singură variabilă predictor \( X \), de exemplu numărul de ore de studiu pe săptămână, pentru a prezice promovarea unui examen (promovat = 1, respins = 0). Modelul:
