Vzorec logistickej regresie
Logistická regresia je jednou z najpopulárnejších metód v štatistike a dátovej vede na modelovanie vzťahu medzi viacerými nezávislými premennými (prediktormi) a kategorickou závislou premennou, najmä binárnou (napr. áno/nie, úspech/neúspech, chorý/zdravý). Na rozdiel od lineárnej regresie, ktorá produkuje spojité hodnoty, je logistická regresia navrhnutá tak, aby odhadovala pravdepodobnosť udalosti, takže konečný výsledok je v rozsahu od 0 do 1. V tomto článku sa budeme venovať vzorcu logistickej regresie, významu každej zložky a jej interpretácii.
Prečo je potrebná logistická regresia?
Ak na predpovedanie pravdepodobností použijeme lineárnu regresiu, model môže produkovať hodnoty pod 0 alebo nad 1, čo je z hľadiska pravdepodobnosti jednoznačne neprimerané. Logistická regresia rieši tento problém použitím nelineárnej funkcie, ktorá mapuje vypočítaný výsledok (ktorým môže byť ľubovoľná hodnota) na hodnotu pravdepodobnosti medzi 0 a 1. Najčastejšie používanou funkciou je logistická alebo sigmoidná funkcia.
Predpokladajme napríklad, že chceme predpovedať, či zákazník odíde na základe jeho veku, dĺžky predplatného a frekvencie používania. Predpokladaný výsledok má iba dve možnosti: odchod (1) alebo žiadny odchod (0). Pre tento typ situácie je vhodná logistická regresia.
Základný vzorec pre logistickú regresiu
Podstatou logistickej regresie je modelovať pravdepodobnosť (p), že (Y = 1) (udalosť nastane), pri danej hodnote prediktorovej premennej (X).
Logistické regresné modely sa zvyčajne zapisujú v dvoch dôležitých formách:
1) Pravdepodobnostný tvar (sigmoid)
\[
p = P(Y=1 v strede X) = \frac{1}{1 + e^{-z}}
\]
dengan
\[
z = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]
Keterangan:
– \( p \) je pravdepodobnosť udalosti (napr.: churn = 1).
– \( e \) je Eulerovo číslo (približne 2,71828).
– \(z \) je lineárna kombinácia prediktorov.
– \( \beta_0 \) je priesečník (konštanta).
– \( \beta_1, \beta_2, \ldots, \beta_k \) sú regresné koeficienty.
– \(X_1, X_2, \ldots, X_k \) sú nezávislé premenné.
Sigmoidná funkcia zabezpečuje, že bez ohľadu na hodnotu \(z \) zostane hodnota \(p \) medzi 0 a 1.
2) Logitový tvar (logaritmické kurzy)
Ďalším veľmi dôležitým tvarom je logitový tvar, čo je logaritmus pravdepodobnosti:
\[
\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]
Keterangan:
– \( \frac{p}{1-p} \) sa nazýva pravdepodobnosť (relatívna šanca).
– \( \ln \) je prirodzený logaritmus.
Logitová forma vysvetľuje, že logistická regresia v skutočnosti modeluje logaritmické šance ako lineárnu funkciu prediktorov. To uľahčuje interpretáciu koeficientov, najmä v kontexte pomerov šancí.
Pochopenie kurzov a pomerov kurzov
Aby sme skutočne pochopili vzorec logistickej regresie, musíme rozlišovať medzi pravdepodobnosťou a šancami.
– Pravdepodobnosť (p): pravdepodobnosť, že sa udalosť vyskytne (0 až 1).
– Pravdepodobnosť: porovnanie pravdepodobnosti, že sa niečo stane, s tým, že sa niečo nestane:
\[
\text{pravdepodobnosť} = \frac{p}{1-p}
\]
Príklad: ak \( p = 0{,}8 \), potom:
\[
\text{pravdepodobnosť} = \frac{0{,}8}{0{,}2} = 4
\]
To znamená, že je štyrikrát pravdepodobnejšie, že sa udalosť stane, ako nie.
V logistickej regresii sa koeficient (β) často interpretuje ako pomer šancí:
\[
\text{OR} = e^{\beta}
\]
– Ak \( \beta > 0 \), potom \( e^{\beta} > 1 \): prediktor zvyšuje pravdepodobnosť udalosti.
– Ak \( \beta < 0 \), potom \( e^{\beta} < 1 \): prediktor znižuje pravdepodobnosť udalosti. - Ak \( \beta = 0 \), potom \( e^{\beta} = 1 \): neexistuje žiadny vplyv na pravdepodobnosť. Napríklad, ak \( \beta_1 = 0{,}7 \), potom: \[ e^{0{,}7} \approx 2{,}01 \] To znamená, že každé zvýšenie \( X_1 \) o 1 jednotku vynásobí pravdepodobnosť udalosti približne 2,01-krát (za predpokladu, že ostatné premenné zostanú konštantné). Príklad jednoduchého logistického regresného modelu Predpokladajme, že máme iba jednu prediktorovú premennú \( X \), napríklad počet hodín štúdia týždenne, na predpovedanie úspešného absolvovania skúšky (úspešne = 1, neúspešne = 0). Model:
