Logistinės regresijos formulė

Logistinės regresijos formulė

Logistinė regresija yra vienas populiariausių statistikos ir duomenų mokslo metodų, skirtų modeliuoti ryšį tarp daugelio nepriklausomų kintamųjų (prognozuojamųjų kintamųjų) ir kategorinio priklausomo kintamojo, ypač dvejetainio (pvz., taip/ne, sėkmė/nesėkmė, liga/sveika). Skirtingai nuo tiesinės regresijos, kuri sukuria tolydžias vertes, logistinė regresija skirta įvykio tikimybei įvertinti, todėl galutinis rezultatas yra intervale nuo 0 iki 1. Šiame straipsnyje aptarsime logistinės regresijos formulę, kiekvieno komponento reikšmę ir kaip ją interpretuoti.

Kodėl reikalinga logistinė regresija?

Jei tikimybėms prognozuoti naudosime tiesinę regresiją, modelis gali gauti reikšmes, mažesnes nei 0 arba didesnes nei 1, o tai tikimybės požiūriu yra akivaizdžiai nepagrįsta. Logistinė regresija šią problemą sprendžia naudodama netiesinę funkciją, kuri susieja apskaičiuotą rezultatą (kuris gali būti bet kokia reikšmė) su tikimybės reikšme nuo 0 iki 1. Dažniausiai naudojama funkcija yra logistinė arba sigmoidinė funkcija.

Pavyzdžiui, tarkime, kad norime nuspėti, ar klientas nutrauks prenumeratą, atsižvelgdami į jo amžių, prenumeratos trukmę ir naudojimo dažnumą. Numatomas rezultatas turi tik dvi galimybes: klientų praradimas (1) arba jokio klientų praradimo (0). Logistinė regresija puikiai tinka tokio tipo situacijoms.

Pagrindinė logistinės regresijos formulė

Logistinės regresijos esmė – modeliuoti tikimybę (p), kad (Y = 1) (įvykis įvyksta), atsižvelgiant į prognozuojamojo kintamojo (X) reikšmę.

Logistinės regresijos modeliai paprastai rašomi dviem svarbiomis formomis:

1) Tikimybių forma (sigmoidinė)

\[
p = P(Y=1 ∫X) = ∫(1 + e^{-z})
\]

dengan

\[
z = ∫beta_0 + ∫beta_1 X_1 + ∫beta_2 X_2 + ∫c + ∫beta_k X_k
\]

Informacija:
– \(p \) yra įvykio tikimybė (pvz.: klientų praradimas = 1).
– \(e \) yra Eulerio skaičius (apytiksliai 2,71828).
– \(z \) yra tiesinis prognozuojamųjų veiksnių derinys.
– \( \beta_0 \) yra interceptas (konstanta).
– \( \beta_1, \beta_2, \ldots, \beta_k \) yra regresijos koeficientai.
– \(X_1, X_2, \ldots, X_k \) yra nepriklausomi kintamieji.

Sigmoidinė funkcija užtikrina, kad nepriklausomai nuo \(z \) reikšmės, \(p \) reikšmė išlieka tarp 0 ir 1.

2) Logito forma (logaritminiai koeficientai)

Kita labai svarbi forma yra logitinė forma, kuri yra šansų logaritmas:

\[
\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1X_1 + \beta_2X_2 + \cdots + \beta_kX_k
\]

Informacija:
– \( \frac{p}{1-p} \) vadinama tikimybe (santykine tikimybe).
– \( \ln \) yra natūralusis logaritmas.

Logitinė forma paaiškina, kad logistinė regresija iš tikrųjų modeliuoja logaritminius šansus kaip tiesinę prognozuojamųjų veiksnių funkciją. Tai leidžia aiškiau interpretuoti koeficientus, ypač atsižvelgiant į šansų santykius.

Šansų ir šansų santykių supratimas

Norint iš tikrųjų suprasti logistinės regresijos formulę, turime atskirti tikimybę nuo koeficientų.

– Tikimybė (p): įvykio tikimybė (nuo 0 iki 1).
– Šansai: tikimybės, kad kažkas įvyks, palyginimas su tikimybe, kad kažkas neįvyks:

\[
\text{odds} = \frac{p}{1-p}
\]

Pavyzdys: jei \(p = 0{,}8 \), tai:

\[
\text{odds} = \frac{0{,}8}{0{,}2} = 4
\]

Tai reiškia, kad įvykis įvyks 4 kartus dažniau nei neįvyks.

Logistinėje regresijoje koeficientas \( \beta \) dažnai interpretuojamas per šansų santykį:

\[
\text{OR} = e^{\beta}
\]

– Jei \( \beta > 0 \), tai \( e^{\beta} > 1 \): prognozuojantis veiksnys padidina įvykio tikimybę.
– Jei \( \beta < 0 \), tada \( e^{\beta} < 1 \): prognozuojantis veiksnys sumažina įvykio tikimybę. - Jei \( \beta = 0 \), tada \( e^{\beta} = 1 \): tikimybei poveikio nėra. Pavyzdžiui, jei \( \beta_1 = 0{,}7 \), tada: \[ e^{0{,}7} \approx 2{,}01 \] Tai reiškia, kad kiekvienas \( X_1 \) padidėjimas 1 vienetu padidins įvykio tikimybę maždaug 2,01 karto (darant prielaidą, kad kiti kintamieji išlieka pastovūs). Paprasto logistinės regresijos modelio pavyzdys Tarkime, kad turime tik vieną prognozuojamąjį kintamąjį \( X \), pavyzdžiui, mokymosi valandų skaičių per savaitę, kad numatytume egzamino išlaikymą (išlaikyta = 1, neišlaikyta = 0). Modelis:

\[ \text{logit}(p) = \beta_0 + \beta_1 X \] Jei numatomas rezultatas yra: - \( \beta_0 = -4 \) - \( \beta_1 = 0{,}8 \) Tada: \[ z = -4 + 0{,}8X \] \[ p = \frac{1}{1 + e^{-(-4 + 0{,}8X)}} = \frac{1}{1 + e^{4 - 0{,}8X}} \] Jei \( X = 6 \) mokymosi valandų: \[ z = -4 + 0{,}8(6) = 0{,}8 \] \[ p = \frac{1}{1 + e^{-0{,}8}} \apytiksl. 0{,}69 \] Interpretacija: mokantis 6 valandas per savaitę, tikimybė buvo išlaikyta maždaug 69 % balu. Koeficiento įvertinimas: kodėl gi nenaudojamas mažiausių kvadratų metodas? Tiesinėje regresijoje koeficientai dažnai apskaičiuojami naudojant mažiausių kvadratų metodą. Tačiau logistinėje regresijoje ryšys tarp prognozuojamųjų veiksnių ir tikimybių yra netiesinis, todėl mažiausių kvadratų metodas nėra idealus. Logistinėje regresijoje paprastai naudojamas didžiausios tikimybės įvertinimas (MLE), siekiant rasti koeficiento reikšmę \( \beta \), kuri maksimaliai padidina stebimų duomenų tikimybę. Apibendrinant, dvejetainių stebėjimų \(y_i \in \{0,1\} \) ir prognozių \(p_i \) tikimybė yra: \[ L(\beta) = \prod_{i=1}^{n} p_i^{y_i}(1-p_i)^{(1-y_i)} \] Tada ji dažnai konvertuojama į logaritminę tikimybę, kad būtų lengviau apskaičiuoti: \[ \ell(\beta) = \sum_{i=1}^{n} \left[ y_i \ln(p_i) + (1-y_i)\ln(1-p_i) \right] \] \( \beta \) reikšmė parenkama siekiant maksimaliai padidinti \( \ell(\beta \). Statistinė programinė įranga dažnai naudoja skaitmeninius metodus, tokius kaip Niutono-Rafsono arba gradiento mažėjimo. Logistinės regresijos privalumai ir trūkumai Privalumai 1. Rezultatai pateikiami tikimybių pavidalu, todėl juos lengva paversti sprendimais. 2. Koeficientų interpretacija yra aiški per šansų santykį. 3. Tinka dvejetainėms klasifikavimo problemoms ir gali būti išplėsta iki daugianarių/ranginių. Apribojimai 1. Daro prielaidą, kad prognozuojamieji veiksniai ir logaritminiai šansai yra tiesiškai susiję, o ne tiesiogiai su tikimybėmis. 2. Gali būti problemiška, jei yra multikolinearumas arba labai nesubalansuoti duomenys. 3. Labai sudėtingiems ryšių modeliams gali būti pranašesni kiti netiesiniai metodai (pvz., atsitiktinis miškas arba neuroninis tinklas). Išvada Logistinės regresijos formulė iš esmės sujungia tiesinį prognozuojamųjų kintamųjų derinį su sigmoidine funkcija, kad gautų tikimybes. Dažniausia forma yra: \[ p = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k)}} \] arba logito forma: \[ \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k \] Suprasdami šias dvi formulės formas, galime sukurti prognozuojamus modelius įvairioms dvejetainėms klasifikavimo problemoms spręsti, interpretuodami kintamųjų įtaką per šansų santykį \(e^{\beta} \). Logistinė regresija išlieka svarbiu duomenų analizės pagrindu, nes ji yra paprasta, galinga ir interpretatyvi – ir dažnai yra pirmas žingsnis prieš bandant taikyti sudėtingesnius modelius. Jei norite, galiu pridėti skaičiavimo pavyzdį su mažais duomenimis (lentele) arba logistinės regresijos įgyvendinimo pavyzdį Python/R kalba kartu su išvesties interpretacija.