Формула логистичке регресије
Логистичка регресија је једна од најпопуларнијих метода у статистици и науци о подацима за моделирање односа између више независних варијабли (предиктора) и категоријалне зависне варијабле, посебно бинарне (нпр. да/не, успех/неуспех, болест/здравље). За разлику од линеарне регресије, која производи континуиране вредности, логистичка регресија је осмишљена да процени вероватноћу догађаја, тако да је коначни резултат у опсегу од 0 до 1. У овом чланку ћемо размотрити формулу логистичке регресије, значење сваке компоненте и како је тумачити.
Зашто је потребна логистичка регресија?
Ако користимо линеарну регресију за предвиђање вероватноћа, модел може произвести вредности испод 0 или изнад 1, што је очигледно неразумно за вероватноћу. Логистичка регресија решава овај проблем коришћењем нелинеарне функције која пресликава израчунати резултат (који може бити било која вредност) на вредност вероватноће између 0 и 1. Најчешће коришћена функција је логистичка или сигмоидна функција.
На пример, претпоставимо да желимо да предвидимо да ли ће купац одустати на основу својих година, дужине претплате и учесталости коришћења. Предвиђени исход има само две могућности: одустајање (1) или без одустајања (0). Логистичка регресија је веома погодна за ову врсту ситуације.
Основна формула за логистичку регресију
Суштина логистичке регресије је моделирање вероватноће \(p \) да \(Y = 1 \) (догађај се деси), на основу вредности предикторске променљиве \(X \).
Модели логистичке регресије се обично пишу у два важна облика:
1) Облик вероватноће (сигмоид)
\[
p = P(Y=1 ∈ X) = ∈ {1}{1 + e^{-z}}
\]
со
\[
z = β0 + β1 X1 + β2 X2 + β2 + βk Xk
\]
Информације:
– \( p \) је вероватноћа догађаја (нпр.: одлив = 1).
– \( e \) је Ојлеров број (приближно 2,71828).
– \( z \) је линеарна комбинација предиктора.
– \( \beta_0 \) је пресек са тачком (константа).
– \( \beta_1, \beta_2, \ldots, \beta_k \) су коефицијенти регресије.
– \(X_1, X_2, \ldots, X_k \) су независне променљиве.
Сигмоидна функција осигурава да без обзира на вредност \(z \), вредност \(p \) остаје између 0 и 1.
2) Логит облик (логаритам квота)
Још један веома важан облик је логит облик, који је логаритам шанси:
\[
логит(p) = √(p1-p) = β0 + β1 X1 + β2 X2 + ∫___ + β__k X_k
\]
Информације:
– \( \frac{p}{1-p} \) се назива шанса (релативна шанса).
– \( \ln \) је природни логаритам.
Логит облик објашњава да логистичка регресија заправо моделира логаритамске шансе као линеарну функцију предиктора. Ово чини тумачење коефицијената јаснијим, посебно у контексту односа шанси.
Разумевање шанси и односа шанси
Да бисмо заиста разумели формулу логистичке регресије, морамо разликовати вероватноћу и шансе.
– Вероватноћа (p): шанса да се догађај догоди (од 0 до 1).
– Шансе: поређење вероватноће да се нешто деси са вероватноћом да се нешто не деси:
\[
\text{квота} = \frac{p}{1-p}
\]
Пример: ако је \( p = 0{,}8 \), онда:
\[
\text{квота} = \frac{0{,}8}{0{,}2} = 4
\]
То значи да је 4 пута већа вероватноћа да ће се догађај догодити него да се неће догодити.
У логистичкој регресији, коефицијент \( \бета \) се често тумачи кроз однос шанси:
\[
\text{ИЛИ} = e^{\бета}
\]
– Ако је \( \beta > 0 \), онда \( e^{\beta} > 1 \): предиктор повећава вероватноћу догађаја.
– Ако је \( \beta < 0 \), онда је \( e^{\beta} < 1 \): предиктор смањује вероватноћу догађаја. - Ако је \( \beta = 0 \), онда је \( e^{\beta} = 1 \): нема утицаја на вероватноћу. На пример, ако је \( \beta_1 = 0{,}7 \), онда: \[ e^{0{,}7} \approx 2{,}01 \] То значи да ће свако повећање од 1 јединице у \( X_1 \) помножити вероватноћу догађаја приближно 2,01 пута (под претпоставком да остале променљиве остају константне). Пример једноставног модела логистичке регресије Претпоставимо да имамо само једну променљиву предиктора \( X \), на пример број сати учења недељно, да бисмо предвидели полагање испита (положен = 1, пао = 0). Модел:
