Formule foar logistyske regresje
Logistyske regresje is ien fan 'e populêrste metoaden yn statistyk en datawittenskip foar it modellearjen fan 'e relaasje tusken in oantal ûnôfhinklike fariabelen (foarsizzers) en in kategoryske ôfhinklike fariabele, benammen binêr (bygelyks ja/nee, sukses/mislearring, siik/sûn). Oars as lineêre regresje, dy't trochgeande wearden produseart, is logistyske regresje ûntworpen om de kâns op in barren te skatten, sadat it einresultaat yn it berik fan 0 oant 1 leit. Yn dit artikel sille wy de formule foar logistyske regresje beprate, de betsjutting fan elke komponint, en hoe't jo it ynterpretearje kinne.
Wêrom is logistyske regresje nedich?
As wy lineêre regresje brûke om kânsen te foarsizzen, kin it model wearden ûnder 0 of boppe 1 produsearje, wat dúdlik net ridlik is foar kâns. Logistyske regresje lost dit probleem op troch in net-lineêre funksje te brûken dy't it berekkene resultaat (dat elke wearde kin wêze) yn kaart bringt mei in kânswearde tusken 0 en 1. De meast brûkte funksje is de logistyske of sigmoïde funksje.
Bygelyks, stel dat wy foarsizze wolle oft in klant sil ferrinne op basis fan harren leeftyd, lingte fan it abonnemint en frekwinsje fan gebrûk. De foarseine útkomst hat mar twa mooglikheden: ferrinne (1) of gjin ferrinne (0). Logistyske regresje is tige geskikt foar dit soarte situaasje.
Basisformule foar logistyske regresje
De essinsje fan logistyske regresje is om de kâns \(p \) te modellearjen dat \(Y = 1 \) (de barren foarkomt), jûn de wearde fan 'e prediktorfariabele \(X \).
Logistyske regresjemodellen wurde meastentiids yn twa wichtige foarmen skreaun:
1) Kânsfoarm (Sigmoïde)
\[
p = P(Y=1 \mid X) = \frac{1}{1 + e^{-z}}
\]
mei
\[
z = β₀ + β₁ X₁ + β₂ X₂ + β₇ X₇
\]
Ynformaasje:
– \(p \) is de kâns op 'e barren (bygelyks: churn = 1).
– \(e \) is it getal fan Euler (sawat 2,71828).
– \(z \) is in lineêre kombinaasje fan prediktors.
– \( \beta_0 \) is de ynterseksje (konstante).
– (β₁, β₂, β₂, βk) binne de regresjekoëffisiënten.
– \(X_1, X_2, \ldots, X_k \) binne ûnôfhinklike fariabelen.
De sigmoïde funksje soarget derfoar dat, wat de wearde fan \(z \) ek is, de wearde fan \(p \) tusken 0 en 1 bliuwt.
2) Logit Formulier (Log Odds)
In oare tige wichtige foarm is de logitfoarm, dat is de logaritme fan 'e kânsen:
\[
\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \β_0 + \β_1 X_1 + \β_2 X_2 + \cdots + \β_k X_k
\]
Ynformaasje:
– \( \frac{p}{1-p} \) wurdt de kâns (relative kâns) neamd.
– \( \ln \) is de natuerlike logaritme.
De logit-foarm leit út dat logistyske regresje eins de log-kânsen modellearret as in lineêre funksje fan 'e prediktors. Dit makket it ynterpretearjen fan 'e koëffisiënten dúdliker, foaral yn 'e kontekst fan kânsferhâldingen.
Begrip fan kânsen en kânsferhâldingen
Om de formule foar logistyske regresje echt te begripen, moatte wy ûnderskied meitsje tusken kâns en kâns.
– Kâns \(p \): de kâns dat in barren foarkomt (0 oant 1).
– Kânsen: fergeliking fan 'e kâns dat eat bart mei dat wat net bart:
\[
\tekst{kânsen} = \frac{p}{1-p}
\]
Foarbyld: as \(p = 0{,}8 \), dan:
\[
\tekst{kânsen} = \frac{0{,}8}{0{,}2} = 4
\]
Dit betsjut dat de kâns 4 kear grutter is dat it barren bart as net.
Yn logistyske regresje wurdt de koëffisjint β faak ynterpretearre fia de odds ratio:
\[
\tekst{OF} = e^{\beta}
\]
– As \( \β > 0 \), dan fergruttet \(e^{\β} > 1 \): de prediktor de kâns op it barren.
– As \( \β < 0 \), dan \( e^{\β} < 1 \): de prediktor ferminderet de kâns op 'e barren.
– As \( \beta = 0 \), dan \(e^{\beta} = 1 \): der is gjin effekt op 'e kânsen.
Bygelyks, as \( \beta_1 = 0{,}7 \), dan:
\[
e^{0{,}7} \sawat 2{,}01
\]
Dit betsjut dat elke ferheging fan 1 ienheid yn \(X_1 \) de kâns op it barren mei sawat 2,01 kear fermannichfâldiget (oannommen dat oare fariabelen konstant bliuwe).
Foarbyld fan in ienfâldich logistysk regresjemodel
Stel dat wy mar ien prediktorfariabele \(X \) hawwe, bygelyks it oantal stúdzje-oeren yn 'e wike, om it slagjen foar it eksamen te foarsizzen (slagje = 1, net slagje = 0). It model is:
\[
\text{logit}(p) = \β_0 + \β_1
\]
As it skattingsresultaat:
– \( \beta_0 = -4 \)
– \( \beta_1 = 0,8 \)
Sa:
\[
z = -4 + 0{,}8X
\]
\[
p = \frac{1}{1 + e^{-(-4 + 0{,}8X)}} = \frac{1}{1 + e^{4 – 0{,}8X}}
\]
As \( X = 6 \) oeren stúdzje:
\[
z = -4 + 0{,}8(6) = 0{,}8
\]
\[
p = \frac{1}{1 + e^{-0{,}8} \approx 0{,}69
\]
Ynterpretaasje: mei 6 oeren stúdzje yn 'e wike is de kâns op slagjen sawat 69%.
Koëffisjintskatting: Wêrom net de metoade fan 'e minste kwadraten?
Yn lineêre regresje wurde koëffisiënten faak berekkene mei de metoade fan 'e minste kwadraten. Yn logistyske regresje is de relaasje tusken prediktors en kânsen lykwols net-lineêr, dus de oanpak fan 'e minste kwadraten is net ideaal. Logistyske regresje brûkt oer it algemien de Maksimale Likelihood-skatting (MLE) om de koëffisiëntwearde β te finen dy't de kâns fan 'e waarnommen gegevens maksimalisearret.
Gearfetsjend is de kâns op binêre observaasjes (y_i in 0,1) en foarsizzingen (p_i):
\[
L(β) = \prod_{i=1}^{n} p_i^{y_i}(1-p_i)^{(1-y_i)}
\]
It wurdt dan faak omset nei in log-likelihood om it makliker te berekkenjen:
\[
ell(β) = \sum_{i=1}^{n} \left[y_i \ln(p_i) + (1-y_i) \ln(1-p_i) \right]
\]
De wearde fan β wurdt keazen om β te maksimalisearjen. Numerike metoaden lykas Newton-Raphson of gradiëntôfstamming wurde faak brûkt troch statistyske software.
Foardielen en beheiningen fan logistyske regresje
Excess
1. De resultaten binne yn 'e foarm fan kânsen, sadat se maklik te oersetten binne yn besluten.
2. De ynterpretaasje fan 'e koëffisjint is dúdlik troch de odds ratio.
3. Geskikt foar binêre klassifikaasjeproblemen en kin útwreide wurde nei multinomiale/ordinale getallen.
Beperkingen
1. Nimt in lineêre relaasje oan tusken prediktors en logaritmyske kânsen, ynstee fan direkt mei kâns.
2. It kin problematysk wêze as der multikollineariteit is of de gegevens tige ûnbalansearre binne.
3. Foar tige komplekse relaasjepatroanen kinne oare net-lineêre metoaden (bygelyks willekeurich bosk of neuraal netwurk) superieur wêze.
Penutup
De formule foar logistyske regresje kombinearret yn essinsje in lineêre kombinaasje fan prediktorfariabelen mei in sigmoïde funksje om kânsen te produsearjen. De meast foarkommende foarm is:
\[
p = \frac{1}{1 + e^{-(β₀ + β₁ X₁ + β₁ + β₁ X₁)}}
\]
of yn logitfoarm:
\[
\ln\left(\frac{p}{1-p}\right) = \β_0 + \β_1 X_1 + \cdots + \β_k X_k
\]
Troch dizze twa foarmen fan 'e formule te begripen, kinne wy foarsizzingsmodellen bouwe foar ferskate binêre klassifikaasjeproblemen, wylst wy de ynfloed fan fariabelen ynterpretearje fia de odds ratio \( e^{\beta} \). Logistyske regresje bliuwt in wichtige basis yn gegevensanalyse, om't it ienfâldich, krêftich en ynterpretearber is - en faak de earste stap is foardat wy mear komplekse modellen besykje.
As jo wolle, kin ik in foarbyldberekkening tafoegje mei lytse gegevens (tabel), of in foarbyldymplemintaasje fan logistyske regresje yn Python/R tegearre mei ynterpretaasje fan 'e útfier.
