Formula logistične regresije
Logistična regresija je ena najbolj priljubljenih metod v statistiki in podatkovni znanosti za modeliranje razmerja med številnimi neodvisnimi spremenljivkami (napovedovalci) in kategorično odvisno spremenljivko, zlasti binarno (npr. da/ne, uspeh/neuspeh, bolezen/zdravje). Za razliko od linearne regresije, ki daje zvezne vrednosti, je logistična regresija zasnovana za oceno verjetnosti dogodka, zato je končni rezultat v območju od 0 do 1. V tem članku bomo obravnavali formulo logistične regresije, pomen vsake komponente in kako jo interpretirati.
Zakaj je potrebna logistična regresija?
Če za napovedovanje verjetnosti uporabimo linearno regresijo, lahko model ustvari vrednosti pod 0 ali nad 1, kar je za verjetnost očitno nerazumno. Logistična regresija rešuje ta problem z uporabo nelinearne funkcije, ki izračunani rezultat (ki je lahko katera koli vrednost) preslika v vrednost verjetnosti med 0 in 1. Najpogosteje uporabljena funkcija je logistična ali sigmoidna funkcija.
Na primer, recimo, da želimo napovedati, ali bo stranka odšla glede na svojo starost, dolžino naročnine in pogostost uporabe. Predvideni izid ima le dve možnosti: odhod (1) ali brez odhoda (0). Za tovrstne situacije je zelo primerna logistična regresija.
Osnovna formula za logistično regresijo
Bistvo logistične regresije je modeliranje verjetnosti (p), da se dogodek zgodi (Y = 1), glede na vrednost napovedne spremenljivke (X).
Logistični regresijski modeli so običajno zapisani v dveh pomembnih oblikah:
1) Verjetnostna oblika (sigmoid)
\[
p = P(Y=1 \sredina X) = \frac{1}{1 + e^{-z}}
\]
s
\[
z = β0 + β1 X1 + β2 X2 + π + βk Xk
\]
Informacije:
– \( p \) je verjetnost dogodka (npr.: churn = 1).
– \( e \) je Eulerjeva številka (približno 2,71828).
– \(z \) je linearna kombinacija napovedovalcev.
– \( \beta_0 \) je presečišče (konstanta).
– \( \beta_1, \beta_2, \ldots, \beta_k \) so regresijski koeficienti.
– \(X_1, X_2, \ldots, X_k \) so neodvisne spremenljivke.
Sigmoidna funkcija zagotavlja, da ne glede na vrednost \(z \) vrednost \(p \) ostane med 0 in 1.
2) Logit obrazec (logaritemske kvote)
Druga zelo pomembna oblika je logitna oblika, ki je logaritem verjetnosti:
\[
\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]
Informacije:
– \( \frac{p}{1-p} \) se imenuje verjetnost (relativna verjetnost).
– \( \ln \) je naravni logaritem.
Logitna oblika pojasnjuje, da logistična regresija dejansko modelira logaritemske verjetnosti kot linearno funkcijo napovedovalcev. To olajša interpretacijo koeficientov, zlasti v kontekstu razmerij verjetnosti.
Razumevanje kvot in razmerij kvot
Da bi resnično razumeli formulo logistične regresije, moramo razlikovati med verjetnostjo in kvoto.
– Verjetnost (p): možnost, da se dogodek zgodi (od 0 do 1).
– Verjetnost: primerjava verjetnosti, da se nekaj zgodi, z verjetnostjo, da se nekaj ne zgodi:
\[
\text{kvota} = \frac{p}{1-p}
\]
Primer: če je \( p = 0{,}8 \), potem:
\[
\text{kvota} = \frac{0{,}8}{0{,}2} = 4
\]
To pomeni, da je verjetnost, da se dogodek zgodi, štirikrat večja kot verjetnost, da se ne zgodi.
V logistični regresiji se koeficient \( \beta \) pogosto interpretira kot razmerje verjetnosti:
\[
\text{ALI} = e^{\beta}
\]
– Če je \( \beta > 0 \), potem \( e^{\beta} > 1 \): napovedovalec poveča verjetnost dogodka.
– Če je \( \beta < 0 \), potem je \( e^{\beta} < 1 \): napovedovalec zmanjša verjetnost dogodka. - Če je \( \beta = 0 \), potem je \( e^{\beta} = 1 \): ni vpliva na verjetnost. Na primer, če je \( \beta_1 = 0{,}7 \), potem: \[ e^{0{,}7} \approx 2{,}01 \] To pomeni, da vsako povečanje \( X_1 \) za 1 enoto pomnoži verjetnost dogodka za približno 2,01-krat (ob predpostavki, da druge spremenljivke ostanejo konstantne). Primer preprostega logističnega regresijskega modela Predpostavimo, da imamo samo eno napovedno spremenljivko \( X \), na primer število ur študija na teden, za napovedovanje uspešno opravljenega izpita (opravil = 1, neuspešno = 0). Model:
