Формула за логистичка регресија

Формула за логистичка регресија

Логистичката регресија е еден од најпопуларните методи во статистиката и науката за податоци за моделирање на врската помеѓу голем број независни варијабли (предиктори) и категорична зависна варијабла, особено бинарна (на пр., да/не, успех/неуспех, болен/здрав). За разлика од линеарната регресија, која произведува континуирани вредности, логистичката регресија е дизајнирана да ја процени веројатноста на некој настан, така што конечниот резултат е во опсег од 0 до 1. Во оваа статија ќе ја разгледаме формулата за логистичка регресија, значењето на секоја компонента и како да се толкува.

Зошто е потребна логистичка регресија?

Ако користиме линеарна регресија за предвидување на веројатностите, моделот може да произведе вредности под 0 или над 1, што е очигледно неразумно за веројатноста. Логистичката регресија го решава овој проблем со користење на нелинеарна функција која го мапира пресметаниот резултат (кој може да биде која било вредност) на вредност на веројатноста помеѓу 0 и 1. Најчесто користената функција е логистичката или сигмоидна функција.

На пример, да претпоставиме дека сакаме да предвидиме дали некој клиент ќе се откаже од претплатата врз основа на неговата возраст, времетраењето на претплатата и фреквенцијата на користење. Предвидениот исход има само две можности: одлив (1) или никаков одлив (0). Логистичката регресија е погодна за ваков тип на ситуација.

Основна формула за логистичка регресија

Суштината на логистичката регресија е да се моделира веројатноста (p) дека (Y = 1) (настанот ќе се случи), дадена вредноста на предикторската променлива (X).

Моделите на логистичка регресија обично се пишуваат во две важни форми:

1) Форма на веројатност (сигмоидна)

\[
p = P(Y=1 ≤ X) = ≤ frac{1}{1 + e^{-z}}
\]

Денган

\[
z = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]

Информации:
– \( p \) е веројатноста на настанот (на пр.: одлив = 1).
– \( e \) е Ојлеров број (приближно 2,71828).
– \( z \) е линеарна комбинација од предиктори.
– \( \beta_0 \) е пресекот (константата).
– \( β_1, β_2, ldots, β_k) се коефициентите на регресија.
– \(X_1, X_2, \ldots, X_k \) се независни променливи.

Сигмоидната функција гарантира дека без оглед на вредноста на \(z\), вредноста на \(p\) останува помеѓу 0 и 1.

2) Образец за логирање (логирање на коефициенти)

Друга многу важна форма е логитската форма, што е логаритмот на коефициентите:

\[
\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]

Информации:
– \( \frac{p}{1-p} \) се нарекува превагнување (релативна шанса).
– \( \ln \) е природниот логаритам.

Логистичката форма објаснува дека логистичката регресија всушност ги моделира логаритамските шанси како линеарна функција на предиктори. Ова го прави толкувањето на коефициентите појасно, особено во контекст на коефициентите на шанси.

Разбирање на шансите и коефициентите на шансите

За навистина да ја разбереме формулата за логистичка регресија, треба да направиме разлика помеѓу веројатноста и преваленцата.

– Веројатност (p): шансата за случување на настан (од 0 до 1).
– Коефициенти: споредба на веројатноста нешто да се случи со веројатноста да не се случи:

\[
\text{коефициенти} = \frac{p}{1-p}
\]

Пример: ако \( p = 0{,}8 \), тогаш:

\[
\text{коефициенти} = \frac{0{,}8}{0{,}2} = 4
\]

Ова значи дека настанот е 4 пати поверојатно да се случи отколку да не се случи.

Во логистичката регресија, коефициентот (бета) често се толкува преку коефициентот на превагнување:

\[
\text{ИЛИ} = e^{\бета}
\]

– Ако \( \beta > 0 \), тогаш \(e^{\beta} > 1 \): предиктор ги зголемува шансите за настанот.
– Ако \( \beta < 0 \), тогаш \( e^{\beta} < 1 \): предиктор ги намалува шансите за настанот. - Ако \( \beta = 0 \), тогаш \( e^{\beta} = 1 \): нема ефект врз шансите. На пример, ако \( \beta_1 = 0{,}7 \), тогаш: \[ e^{0{,}7} \approx 2{,}01 \] Ова значи дека секое зголемување од 1 единица на \( X_1 \) ќе ги помножи шансите за настанот за приближно 2,01 пати (под претпоставка дека другите променливи остануваат константни). Пример за едноставен логистички модел на регресија Да претпоставиме дека имаме само една предикторска променлива \( X \), на пример бројот на часови учење неделно, за да предвидиме положување на испит (положил = 1, не успеал = 0). Моделот:

\[ \text{logit}(p) = \beta_0 + \beta_1 X \] Ако проценетиот резултат е: - \( \beta_0 = -4 \) - \( \beta_1 = 0{,}8 \) Тогаш: \[ z = -4 + 0{,}8X \] \[ p = \frac{1}{1 + e^{-(-4 + 0{,}8X)}} = \frac{1}{1 + e^{4 - 0{,}8X}} \] Ако \( X = 6 \) часа учење: \[ z = -4 + 0{,}8(6) = 0{,}8 \] \[ p = \frac{1}{1 + e^{-0{,}8}} \approx 0{,}69 \] Толкување: со 6 часа учење неделно, веројатноста поминала со резултат од околу 69%. Проценка на коефициентот: Зошто не методот на најмали квадрати? Кај линеарната регресија, коефициентите често се пресметуваат со методот на најмали квадрати. Меѓутоа, кај логистичката регресија, односот помеѓу предиктори и веројатностите е нелинеарен, па затоа пристапот на најмали квадрати не е идеален. Логистичката регресија генерално користи Проценка на максималната веројатност (MLE) за да ја пронајде вредноста на коефициентот β што ја максимизира веројатноста на набљудуваните податоци. Накратко, веројатноста за бинарни набљудувања \(y_i \in \{0,1\} \) и предвидувања \(p_i \) е: \[ L(\beta) = \prod_{i=1}^{n} p_i^{y_i}(1-p_i)^{(1-y_i)} \] Потоа често се претвора во логаритамска веројатност за полесно пресметување: \[ \ell(\beta) = \sum_{i=1}^{n} \left[ y_i \ln(p_i) + (1-y_i)\ln(1-p_i) \right] \] Вредноста на \( \beta \) е избрана за да се максимизира \( \ell(\beta) \). Нумеричките методи како што се Њутн-Рафсон или градиентното спуштање често се користат од статистичкиот софтвер. Предности и ограничувања на логистичката регресија Предности 1. Резултатите се во форма на веројатности, така што лесно се претвораат во одлуки. 2. Интерпретацијата на коефициентите е јасна преку односот на веројатности. 3. Погодно за проблеми со бинарна класификација и може да се прошири на мултиномни/ординални. Ограничувања 1. Претпоставува линеарна врска помеѓу предиктори и логаритамски шанси, а не директно на веројатностите. 2. Може да биде проблематично ако има мултиколинеарност или многу неурамнотежени податоци. 3. За многу сложени шеми на врски, други нелинеарни методи (на пр., случајна шума или невронска мрежа) може да бидат подобри. Заклучок Формулата за логистичка регресија во суштина комбинира линеарна комбинација на предикативни променливи со сигмоидна функција за да произведе веројатности. Најчестата форма е: \[ p = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k)}} \] или во логит форма: \[ \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k \] Со разбирање на овие две форми на формулата, можеме да изградиме предикативни модели за различни проблеми со бинарна класификација, додека го толкуваме влијанието на променливите преку коефициентот на веројатност \( e^{\beta} \). Логистичката регресија останува важна основа во анализата на податоци бидејќи е едноставна, моќна и интерпретативна - и често е првиот чекор пред да се обидат со посложени модели. Ако сакате, можам да додадам пример за пресметка со мали податоци (табела) или пример за имплементација на логистичка регресија во Python/R заедно со толкувањето на резултатот.