Loģistiskās regresijas formula
Loģistiskā regresija ir viena no populārākajām metodēm statistikā un datu zinātnē, lai modelētu attiecības starp vairākiem neatkarīgiem mainīgajiem (prognozētājiem) un kategorisku atkarīgu mainīgo, īpaši bināro (piemēram, jā/nē, panākumi/neveiksme, slimība/veselība). Atšķirībā no lineārās regresijas, kas rada nepārtrauktas vērtības, loģistiskā regresija ir paredzēta, lai novērtētu notikuma varbūtību, tāpēc gala rezultāts ir diapazonā no 0 līdz 1. Šajā rakstā mēs apspriedīsim loģistiskās regresijas formulu, katras komponentes nozīmi un to, kā to interpretēt.
Kāpēc nepieciešama loģistiskā regresija?
Ja varbūtību prognozēšanai izmantojam lineāro regresiju, modelis var radīt vērtības, kas ir zemākas par 0 vai lielākas par 1, kas varbūtības gadījumā ir acīmredzami nepamatoti. Loģistiskā regresija risina šo problēmu, izmantojot nelineāru funkciju, kas aprēķināto rezultātu (kas var būt jebkura vērtība) sasaista ar varbūtības vērtību no 0 līdz 1. Visbiežāk izmantotā funkcija ir loģistiskā jeb sigmoīdā funkcija.
Piemēram, pieņemsim, ka mēs vēlamies paredzēt, vai klients pārtrauks abonementu, pamatojoties uz viņa vecumu, abonementa ilgumu un lietošanas biežumu. Prognozētajam rezultātam ir tikai divas iespējas: klientu aiziešana (1) vai klientu aiziešanas neesamība (0). Šāda veida situācijām labi piemērota loģistiskā regresija.
Loģistiskās regresijas pamatformula
Loģistiskās regresijas būtība ir modelēt varbūtību \( p \), ka \( Y = 1 \) (notikums notiek), ņemot vērā prognozējošā mainīgā \( X \) vērtību.
Loģistiskās regresijas modeļi parasti tiek rakstīti divās svarīgās formās:
1) Varbūtības forma (sigmoīda)
\[
p = P(Y=1 ∫X) = ∫(1 + e^{-z})
\]
ar
\[
z = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]
Informācija:
– \(p \) ir notikuma varbūtība (piemēram: klientu aizplūšana = 1).
– \(e \) ir Eilera skaitlis (aptuveni 2,71828).
– \(z \) ir prognozētāju lineāra kombinācija.
– \( \beta_0 \) ir nogriežņa punkts (konstante).
– \( \beta_1, \beta_2, \ldots, \beta_k \) ir regresijas koeficienti.
– \(X_1, X_2, \ldots, X_k \) ir neatkarīgi mainīgie.
Sigmoīdā funkcija nodrošina, ka neatkarīgi no \(z \) vērtības, \(p \) vērtība paliek starp 0 un 1.
2) Logit forma (Log Odds)
Vēl viena ļoti svarīga forma ir logit forma, kas ir izredžu logaritms:
\[
logit(p) = ∫ln₀(p1-p) = β0 + β1 X_1 + β2 X_2 + cdots + βk X_k
\]
Informācija:
– \( \frac{p}{1-p} \) sauc par izredzēm (relatīvo iespēju).
– \( \ln \) ir naturālais logaritms.
Logit forma skaidro, ka loģistiskā regresija faktiski modelē logaritmiskās izredzes kā prognozētāju lineāru funkciju. Tas padara koeficientu interpretāciju skaidrāku, īpaši izredžu attiecību kontekstā.
Izredzes un izredžu attiecības izpratne
Lai patiesi izprastu loģistiskās regresijas formulu, mums jānošķir varbūtība un izredzes.
– Varbūtība \(p \): notikuma iestāšanās iespējamība (no 0 līdz 1).
– Izredzes: varbūtības, ka kaut kas notiks, salīdzinājums ar varbūtību, ka kaut kas nenotiks:
\[
\text{odds} = \frac{p}{1-p}
\]
Piemērs: ja \(p = 0{,}8 \), tad:
\[
\text{odds} = \frac{0{,}8}{0{,}2} = 4
\]
Tas nozīmē, ka notikuma iespējamība ir 4 reizes lielāka nekā nenotikšana.
Loģistiskajā regresijā koeficients \( \beta \) bieži tiek interpretēts, izmantojot izredžu attiecību:
\[
\text{OR} = e^{\beta}
\]
– Ja \( \beta > 0 \), tad \( e^{\beta} > 1 \): prognozētājs palielina notikuma iespējamību.
– Ja \( \beta < 0 \), tad \( e^{\beta} < 1 \): prognozētājs samazina notikuma iespējamību. - Ja \( \beta = 0 \), tad \( e^{\beta} = 1 \): nav ietekmes uz iespējamību. Piemēram, ja \( \beta_1 = 0{,}7 \), tad: \[ e^{0{,}7} \approx 2{,}01 \] Tas nozīmē, ka katrs \( X_1 \) palielinājums par 1 vienību reizinās notikuma iespējamību aptuveni 2,01 reizes (pieņemot, ka pārējie mainīgie paliek nemainīgi). Vienkārša loģistiskās regresijas modeļa piemērs Pieņemsim, ka mums ir tikai viens prognozējošais mainīgais \( X \), piemēram, mācību stundu skaits nedēļā, lai prognozētu eksāmena nokārtošanu (nokārtots = 1, neizturēts = 0). Modelis:
