Logistinen regressiokaava
Logistinen regressio on yksi tilastotieteen ja datatieteen suosituimmista menetelmistä mallintaa useiden riippumattomien muuttujien (ennustajien) ja kategorisen riippuvan muuttujan, erityisesti binäärisen (esim. kyllä/ei, onnistuminen/epäonnistuminen, sairas/terve), välistä suhdetta. Toisin kuin lineaarinen regressio, joka tuottaa jatkuvia arvoja, logistinen regressio on suunniteltu arvioimaan tapahtuman todennäköisyyttä, joten lopputulos on välillä 0-1. Tässä artikkelissa käsittelemme logistisen regression kaavaa, kunkin komponentin merkitystä ja tulkintaa.
Miksi logistista regressiota tarvitaan?
Jos todennäköisyyksien ennustamiseen käytetään lineaarista regressiota , malli voi tuottaa arvoja, jotka ovat alle 0:n tai yli 1:n, mikä on selvästi kohtuutonta todennäköisyyden kannalta. Logistinen regressio ratkaisee tämän ongelman käyttämällä epälineaarista funktiota, joka kuvaa lasketun tuloksen (joka voi olla mikä tahansa arvo) todennäköisyysarvoon välillä 0 ja 1. Yleisimmin käytetty funktio on logistinen eli sigmoidifunktio.
Oletetaan esimerkiksi, että haluamme ennustaa asiakkaan vaihtuvuutta iän, tilausajan pituuden ja käyttötiheyden perusteella. Ennustetulla tuloksella on vain kaksi vaihtoehtoa: vaihtuvuus (1) tai ei vaihtuvuutta (0). Logistinen regressio sopii hyvin tällaiseen tilanteeseen.
Logistisen regression peruskaava
Logistisen regression ydin on mallintaa todennäköisyyttä \( p \), että \( Y = 1 \) (tapahtuma tapahtuu), annettuna ennustava muuttujan \( X \) arvo.
Logistiset regressiomallit kirjoitetaan yleensä kahdessa tärkeässä muodossa:
1) Todennäköisyysmuoto (sigmoidinen)
\[
p = P(Y=1 ∫X) = ∫(1 + e^{-z)}
\]
kanssa
\[
z = \beta_0 + \beta_1X_1 + \beta_2X_2 + \cdots + \beta_kX_k
\]
Tiedot:
– \(p \) on tapahtuman todennäköisyys (esim.: asiakasvaihtuvuus = 1).
– \(e \) on Eulerin luku (noin 2,71828).
– \(z \) on ennustajien lineaarinen yhdistelmä.
– \( \beta_0 \) on leikkauspiste (vakio).
– \( \beta_1, \beta_2, \ldots, \beta_k \) ovat regressiokertoimet.
– \(X_1, X_2, \ldots, X_k \) ovat riippumattomia muuttujia.
Sigmoidifunktio varmistaa, että \(z \):n arvosta riippumatta \(p \) pysyy välillä 0 ja 1.
2) Logit-lomake (logaritmikertoimet)
Toinen erittäin tärkeä muoto on logit-muoto, joka on kertoimien logaritmi:
\[
\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1X_1 + \beta_2X_2 + \cdots + \beta_kX_k
\]
Tiedot:
– \( \frac{p}{1-p} \) kutsutaan todennäköisyydeksi (suhteelliseksi sattumaksi).
– \( \ln \) on luonnollinen logaritmi.
Logit-muoto selittää, että logistinen regressio mallintaa log-kertoimia ennustavien tekijöiden lineaarisena funktiona. Tämä selkeyttää kertoimien tulkintaa, erityisesti kerroinsuhteiden yhteydessä.
Kertoimien ja kertoimien suhteiden ymmärtäminen
Jotta logistisen regression kaavaa todella ymmärtäisimme, meidän on erotettava toisistaan todennäköisyys ja kertoimet.
– Todennäköisyys \(p \): tapahtuman todennäköisyys (0–1).
– Todennäköisyydet: jonkin tapahtuman todennäköisyyden ja tapahtumattomuuden vertailu:
\[
\text{odds} = \frac{p}{1-p}
\]
Esimerkki: jos \(p = 0{,}8 \), niin:
\[
\text{odds} = \frac{0{,}8}{0{,}2} = 4
\]
Tämä tarkoittaa, että tapahtuman todennäköisyys on neljä kertaa suurempi kuin sen toteutumatta jättäminen.
Logistisessa regressiossa kerroin \( \beta \) tulkitaan usein ristitulosuhteen kautta:
\[
\text{TAI} = e^{\beta}
\]
– Jos \( \beta > 0 \), niin \( e^{\beta} > 1 \): ennustaja lisää tapahtuman todennäköisyyttä.
– Jos \( \beta < 0 \), niin \( e^{\beta} < 1 \): ennustaja pienentää tapahtuman todennäköisyyttä.
– Jos \( \beta = 0 \), niin \( e^{\beta} = 1 \): todennäköisyyksiin ei ole vaikutusta.
Esimerkiksi, jos \( \beta_1 = 0{,}7 \), niin:
\[
e^{0{,}7} \noin 2{,}01
\]
Tämä tarkoittaa, että jokainen yhden yksikön lisäys funktiossa \(X_1 \) kertoo tapahtuman todennäköisyyden noin 2,01-kertaisesti (olettaen, että muut muuttujat pysyvät vakioina).
Esimerkki yksinkertaisesta logistisesta regressiomallista
Oletetaan, että meillä on vain yksi ennustava muuttuja \(X \), esimerkiksi viikoittainen opiskelutuntimäärä, kokeen läpäisyn ennustamiseksi (hyväksytty = 1, hylätty = 0). Malli on:
\[
logit(p) = beta_0 + beta_1
\]
Jos arvion tulos:
– \( \beta_0 = -4 \)
– \( \beta_1 = 0{,}8 \)
Niin:
\[
z = -4 + 0{,}8X
\]
\[
p = \frac{1}{1 + e^{-(-4 + 0{,}8X)}} = \frac{1}{1 + e^{4 – 0{,}8X}}
\]
Jos \(X = 6 \) tuntia opiskelua:
\[
z = -4 + 0{,}8(6) = 0{,}8
\]
\[
p = ∫₀ (1 + e^{-0{,}8}) ∫₀ (noin 0{,}69)
\]
Tulkinta: jos opiskellaan 6 tuntia viikossa, läpäisyn todennäköisyys on noin 69 %.
Kertoimen estimointi: Miksi ei pienimmän neliösumman menetelmää?
Lineaarisessa regressiossa kertoimet lasketaan usein pienimmän neliösumman menetelmällä. Logistisessa regressiossa ennustajien ja todennäköisyyksien välinen suhde on kuitenkin epälineaarinen, joten pienimmän neliösumman lähestymistapa ei ole ihanteellinen. Logistisessa regressiossa käytetään yleensä suurimman todennäköisyyden estimointia (MLE) löytääkseen kerroinarvon \( \beta \), joka maksimoi havaitun datan todennäköisyyden.
Yhteenvetona voidaan todeta, että binaaristen havaintojen \(y_i \in \{0,1\} \) ja ennusteiden \(p_i \) todennäköisyys on:
\[
L(\beta) = \prod_{i=1}^{n} p_i^{y_i}(1-p_i)^{(1-y_i)}
\]
Sitten se muunnetaan usein log-todennäköisyydeksi laskemisen helpottamiseksi:
\[
∫\beta = ∫\sum_{i=1}^{n} [ y_i ∫\ln(p_i) + (1-y_i) ∫\ln(1-p_i) ∫\right]
\]
Muodon \( \beta \) arvo valitaan maksimoimaan \( \ell(\beta \). Tilasto-ohjelmistot käyttävät usein numeerisia menetelmiä , kuten Newton-Raphsonin menetelmää tai gradienttilaskeutumista.
Logistisen regression edut ja rajoitukset
Ylimääräinen
1. Tulokset ovat todennäköisyyksien muodossa, joten ne on helppo muuntaa päätöksiksi.
2. Kertoimen tulkinta on selkeä kerroinsuhteen kautta.
3. Sopii binäärisiin luokitteluongelmiin ja voidaan laajentaa multinomiaaliseksi/ordinaaliksi.
Keterbatasan
1. Olettaa lineaarisen suhteen ennustajien ja logaritmisten kertoimien välillä sen sijaan, että se olisi suoraan yhteydessä todennäköisyyteen.
2. Ongelmallista voi olla, jos esiintyy multikollineaarisuutta tai data on hyvin epätasapainossa.
3. Hyvin monimutkaisille suhdemalleille muut epälineaariset menetelmät (esim. satunnaismetsä tai neuroverkko) voivat olla parempia.
Sulkeminen
Logistisen regression kaava yhdistää pohjimmiltaan ennustajamuuttujien lineaarisen yhdistelmän sigmoidifunktion kanssa todennäköisyyksien tuottamiseksi. Yleisin muoto on:
\[
p = \frac{1}{1 + e^{-(\beta_0 + \beta_1X_1 + \cdots + \beta_kX_k)}}
\]
tai logit-muodossa:
\[
\ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1X_1 + \cdots + \beta_kX_k
\]
Ymmärtämällä nämä kaksi kaavan muotoa voimme rakentaa ennustavia malleja erilaisille binääriluokitusongelmille samalla tulkiten muuttujien vaikutusta kerroinsuhteen \(e^{\beta} \) kautta. Logistinen regressio on edelleen tärkeä perusta data-analyysissä , koska se on yksinkertainen, tehokas ja tulkitseva – ja usein ensimmäinen askel ennen monimutkaisempien mallien yrittämistä.
Voin halutessasi lisätä esimerkkilaskennan pienellä datamäärällä (taulukko) tai esimerkin logistisen regression toteutuksesta Python/R:ssä sekä tulosteen tulkinnan.
