Formula e regresionit logjistik

Formula e Regresionit Logjistik

Regresioni logjistik është një nga metodat më të njohura në statistikë dhe shkencën e të dhënave për modelimin e marrëdhënies midis një numri variablash të pavarura (parashikues) dhe një variabli të varur kategorik, veçanërisht binare (p.sh., po/jo, sukses/dështim, i sëmurë/i shëndetshëm). Ndryshe nga regresioni linear, i cili prodhon vlera të vazhdueshme, regresioni logjistik është projektuar për të vlerësuar probabilitetin e një ngjarjeje, kështu që rezultati përfundimtar është në rangun nga 0 në 1. Në këtë artikull, do të diskutojmë formulën e regresionit logjistik, kuptimin e secilit komponent dhe mënyrën e interpretimit të tij.

Pse është i nevojshëm regresioni logjistik?

Nëse përdorim regresionin linear për të parashikuar probabilitetet, modeli mund të prodhojë vlera nën 0 ose mbi 1, gjë që është qartësisht e paarsyeshme për probabilitetin. Regresioni logjistik e adreson këtë problem duke përdorur një funksion jolinear që e lidh rezultatin e llogaritur (i cili mund të jetë çdo vlerë) me një vlerë probabiliteti midis 0 dhe 1. Funksioni më i përdorur është funksioni logjistik ose sigmoid.

Për shembull, supozojmë se duam të parashikojmë nëse një klient do të largohet bazuar në moshën, kohëzgjatjen e abonimit dhe frekuencën e përdorimit. Rezultati i parashikuar ka vetëm dy mundësi: largim (1) ose asnjë largim (0). Regresioni logjistik është i përshtatshëm për këtë lloj situate.

Formula Bazë për Regresionin Logjistik

Thelbi i regresionit logjistik është të modelojë probabilitetin (p) që (ngjarja të ndodhë) Y = 1, duke pasur parasysh vlerën e variablit parashikues (X).

Modelet e regresionit logjistik zakonisht shkruhen në dy forma të rëndësishme:

1) Forma e Probabilitetit (Sigmoid)

\[
p = P(Y=1 \mid X) = \frac{1}{1 + e^{-z}}
\]

dengan

\[
z = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]

Informacioni:
– \(p \) është probabiliteti i ngjarjes (p.sh.: largimi = 1).
– \(e \) është numri i Eulerit (përafërsisht 2,71828).
– \(z \) është një kombinim linear i parashikuesve.
– \( \beta_0 \) është ndërprerja (konstantja).
– \( β_1, β_2, ldots, β_k) janë koeficientët e regresionit.
– \(X_1, X_2, \ldots, X_k \) janë variabla të pavarura.

Funksioni sigmoid siguron që cilado qoftë vlera e \(z\), vlera e \(p\) mbetet midis 0 dhe 1.

2) Formulari i Regjistrimit (Regjistrimi i Shansave)

Një formë tjetër shumë e rëndësishme është forma logit, e cila është logaritmi i probabiliteteve:

\[
\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]

Informacioni:
– \( \frac{p}{1-p} \) quhet probabilitet (mundësi relative).
– \( \ln \) është logaritmi natyror.

Forma logjistik shpjegon se regresioni logjistik në fakt modelon shanset logaritmike si një funksion linear të parashikuesve. Kjo e bën interpretimin e koeficientëve më të qartë, veçanërisht në kontekstin e raporteve të shanseve.

Kuptimi i probabiliteteve dhe raporteve të probabiliteteve

Për ta kuptuar vërtet formulën e regresionit logjistik, duhet të bëjmë dallimin midis probabilitetit dhe shanseve.

– Probabiliteti (p): mundësia që të ndodhë një ngjarje (0 deri në 1).
– Probabiliteti: krahasimi i probabilitetit që diçka të ndodhë me atë që nuk do të ndodhë:

\[
\text{kuanci} = \frac{p}{1-p}
\]

Shembull: nëse \(p = 0{,}8 \), atëherë:

\[
\text{shanset} = \frac{0{,}8}{0{,}2} = 4
\]

Kjo do të thotë që ngjarja ka 4 herë më shumë gjasa të ndodhë sesa të mos ndodhë.

Në regresionin logjistik, koeficienti (beta) shpesh interpretohet përmes raportit të shanseve:

\[
OSE = e^{beta}
\]

– Nëse \( β > 0 \), atëherë \( e^{ β} > 1 \): parashikuesi rrit shanset e ngjarjes.
– Nëse \( β < 0 \), atëherë \( e^{ β} < 1 \): parashikuesi zvogëlon shanset e ngjarjes. - Nëse \( β = 0 \), atëherë \( e^{ β} = 1 \): nuk ka efekt në shanse. Për shembull, nëse \( β_1 = 0{,}7 \), atëherë: \[ e^{0{,}7} \approx 2{,}01 \] Kjo do të thotë që çdo rritje prej 1 njësie në \( X_1 \) do të shumëzojë shanset e ngjarjes me afërsisht 2,01 herë (duke supozuar që variablat e tjera mbeten konstante). Shembull i një Modeli të Thjeshtë të Regresionit Logjistik Supozojmë se kemi vetëm një variabël parashikues \( X \), për shembull numrin e orëve të studimit në javë, për të parashikuar kalimin e një provimi (kalon = 1, dështon = 0). Modeli:

\[ \text{logit}(p) = \beta_0 + \beta_1 X \] Nëse rezultati i vlerësuar është: - \( \beta_0 = -4 \) - \( \beta_1 = 0{,}8 \) Atëherë: \[ z = -4 + 0{,}8X \] \[ p = \frac{1}{1 + e^{-(-4 + 0{,}8X)}} = \frac{1}{1 + e^{4 - 0{,}8X}} \] Nëse \( X = 6 \) orë studimi: \[ z = -4 + 0{,}8(6) = 0{,}8 \] \[ p = \frac{1}{1 + e^{-0{,}8}} \approx 0{,}69 \] Interpretim: me 6 orë studimi në javë, probabiliteti kaloi me një rezultat prej rreth 69%. Vlerësimi i Koeficientëve: Pse Jo Metoda e Katrorëve më të Vogël? Në regresionin linear, koeficientët shpesh llogariten duke përdorur metodën e katrorëve më të vegjël. Megjithatë, në regresionin logjistik, marrëdhënia midis parashikuesve dhe probabiliteteve është jolineare, kështu që qasja e katrorëve më të vegjël nuk është ideale. Regresioni logjistik përgjithësisht përdor Vlerësimin e Gjasave Maksimale (MLE) për të gjetur vlerën e koeficientit β që maksimizon gjasat e të dhënave të vëzhguara. Si përmbledhje, gjasat për vëzhgimet binare (y_i in 0,1) dhe parashikimet (p_i) janë: L(β) = prod_{i=1}^{n} p_i^{y_i}(1-p_i)^{(1-y_i)}] Më pas, shpesh konvertohet në një gjasje logaritmike për ta bërë më të lehtë llogaritjen: ell(β) = sum_{i=1}^{n} left[y_i ln(p_i) + (1-y_i) ln(1-p_i)] Vlera e β zgjidhet për të maksimizuar ell(β)). Metodat numerike si Newton-Raphson ose zbritja gradient përdoren shpesh nga softuerët statistikorë. Avantazhet dhe kufizimet e regresionit logjistik Avantazhet 1. Rezultatet janë në formën e probabiliteteve, kështu që ato janë të lehta për t'u përkthyer në vendime. 2. Interpretimi i koeficientëve është i qartë nëpërmjet raportit të shancave. 3. I përshtatshëm për problemet e klasifikimit binar dhe mund të zgjerohet në multinomial/ordinal. Kufizime 1. Supozon një marrëdhënie lineare midis parashikuesve dhe shancave logaritmike, jo drejtpërdrejt me probabilitetet. 2. Mund të jetë problematik nëse ka multikolinearitet ose të dhëna shumë të pabalancuara. 3. Për modele marrëdhëniesh shumë komplekse, metoda të tjera jolineare (p.sh., pylli i rastësishëm ose rrjeti nervor) mund të jenë superiore. Përfundim Formula e regresionit logjistik në thelb kombinon një kombinim linear të variablave parashikuese me një funksion sigmoid për të prodhuar probabilitete. Forma më e zakonshme është: \[ p = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k)}} \] ose në formë logit: \[ \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k \] Duke kuptuar këto dy forma të formulës, ne mund të ndërtojmë modele parashikuese për probleme të ndryshme të klasifikimit binar, duke interpretuar ndikimin e variablave përmes raportit të shanseve \(e^{\beta} \). Regresioni logjistik mbetet një themel i rëndësishëm në analizën e të dhënave sepse është i thjeshtë, i fuqishëm dhe interpretues - dhe shpesh është hapi i parë përpara se të provojmë modele më komplekse. Nëse dëshironi, mund të shtoj një shembull llogaritjeje me të dhëna të vogla (tabelë), ose një shembull zbatimi të regresionit logjistik në Python/R së bashku me interpretimin e rezultatit.