Vzorec logistické regrese
Logistická regrese je jednou z nejpopulárnějších metod ve statistice a datové vědě pro modelování vztahu mezi řadou nezávislých proměnných (prediktorů) a kategorickou závislou proměnnou, zejména binární (např. ano/ne, úspěch/neúspěch, nemoc/zdraví). Na rozdíl od lineární regrese, která produkuje spojité hodnoty, je logistická regrese navržena tak, aby odhadovala pravděpodobnost události, takže konečný výsledek je v rozsahu od 0 do 1. V tomto článku se budeme zabývat vzorcem logistické regrese, významem každé složky a její interpretací.
Proč je potřeba logistická regrese?
Pokud k predikci pravděpodobností použijeme lineární regresi, model může produkovat hodnoty pod 0 nebo nad 1, což je z hlediska pravděpodobnosti zjevně nepřiměřené. Logistická regrese řeší tento problém pomocí nelineární funkce, která mapuje vypočítaný výsledek (který může být libovolná hodnota) na hodnotu pravděpodobnosti mezi 0 a 1. Nejčastěji používanou funkcí je logistická neboli sigmoidní funkce.
Předpokládejme například, že chceme předpovědět, zda zákazník odejde na základě jeho věku, délky předplatného a četnosti používání. Předpovězený výsledek má pouze dvě možnosti: odchod (1) nebo žádný odchod (0). Pro tento typ situace je vhodná logistická regrese.
Základní vzorec pro logistickou regresi
Podstatou logistické regrese je modelování pravděpodobnosti (p), že (Y = 1) (událost nastane), při dané hodnotě prediktorové proměnné (X).
Logistické regresní modely se obvykle zapisují ve dvou důležitých formách:
1) Pravděpodobnostní tvar (sigmoid)
\[
p = P(Y=1 uprostřed X) = \frac{1}{1 + e^{-z}}
\]
dengan
\[
z = β0 + β1 X1 + β2 X2 + β2 + βk Xk
\]
Informace:
– \( p \) je pravděpodobnost události (např.: churn = 1).
– \( e \) je Eulerovo číslo (přibližně 2,71828).
– \( z \) je lineární kombinace prediktorů.
– \( \beta_0 \) je průsečík s osou osy (konstanta).
– \( \beta_1, \beta_2, \ldots, \beta_k \) jsou regresní koeficienty.
– \(X_1, X_2, \ldots, X_k \) jsou nezávislé proměnné.
Sigmoidní funkce zajišťuje, že bez ohledu na hodnotu \(z \) zůstane hodnota \(p \) mezi 0 a 1.
2) Logitový tvar (logaritmické kurzy)
Dalším velmi důležitým tvarem je logitový tvar, což je logaritmus pravděpodobnosti:
\[
\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]
Informace:
– \( \frac{p}{1-p} \) se nazývá pravděpodobnost (relativní šance).
– \( \ln \) je přirozený logaritmus.
Logitová forma vysvětluje, že logistická regrese ve skutečnosti modeluje logaritmické šance jako lineární funkci prediktorů. To usnadňuje interpretaci koeficientů, zejména v kontextu poměrů šancí.
Pochopení kurzů a poměrů kurzů
Abychom skutečně pochopili vzorec logistické regrese, musíme rozlišovat mezi pravděpodobností a šancí.
– Pravděpodobnost (p): šance, že událost nastane (0 až 1).
– Pravděpodobnost: srovnání pravděpodobnosti, že se něco stane, s pravděpodobností, že se něco nestane:
\[
\text{pravděpodobnost} = \frac{p}{1-p}
\]
Příklad: pokud \( p = 0{,}8 \), pak:
\[
\text{pravděpodobnost} = \frac{0{,}8}{0{,}2} = 4
\]
To znamená, že je čtyřikrát pravděpodobnější, že se událost stane, než že se nestane.
V logistické regresi se koeficient \( \beta \) často interpretuje jako poměr šancí:
\[
\text{OR} = e^{\beta}
\]
– Pokud θ > 0, pak θ > 1: prediktor zvyšuje pravděpodobnost události.
– Pokud \( \beta < 0 \), pak \( e^{\beta} < 1 \): prediktor snižuje pravděpodobnost události. - Pokud \( \beta = 0 \), pak \( e^{\beta} = 1 \): neexistuje žádný vliv na pravděpodobnost. Například pokud \( \beta_1 = 0{,}7 \), pak: \[ e^{0{,}7} \approx 2{,}01 \] To znamená, že každé zvýšení \( X_1 \) o 1 jednotku vynásobí pravděpodobnost události přibližně 2,01krát (za předpokladu, že ostatní proměnné zůstanou konstantní). Příklad jednoduchého logistického regresního modelu Předpokládejme, že máme pouze jednu prediktorovou proměnnou \( X \), například počet hodin studia týdně, pro predikci složení zkoušky (prospěl = 1, neprospěl = 0). Model:
