Формула за логистична регресия
Логистичната регресия е един от най-популярните методи в статистиката и науката за данни за моделиране на връзката между редица независими променливи (предиктори) и категорична зависима променлива, особено бинарна (напр. да/не, успех/неуспех, болен/здрав). За разлика от линейната регресия, която дава непрекъснати стойности, логистичната регресия е предназначена да оцени вероятността за дадено събитие, така че крайният резултат е в диапазона от 0 до 1. В тази статия ще обсъдим формулата на логистичната регресия, значението на всеки компонент и как да го интерпретираме.
Защо е необходима логистична регресия?
Ако използваме линейна регресия за прогнозиране на вероятности, моделът може да генерира стойности под 0 или над 1, което очевидно е неразумно за вероятност. Логистичната регресия решава този проблем, като използва нелинейна функция, която съпоставя изчисления резултат (който може да бъде всяка стойност) със стойност на вероятността между 0 и 1. Най-често използваната функция е логистичната или сигмоидната функция.
Например, да предположим, че искаме да предвидим дали даден клиент ще се откаже от услугата въз основа на възрастта, продължителността на абонамента и честотата на използване. Прогнозираният резултат има само две възможности: отлив (1) или липса на отлив (0). Логистичната регресия е подходяща за този тип ситуации.
Основна формула за логистична регресия
Същността на логистичната регресия е да моделира вероятността (p) (събитието да се случи) (Y = 1), при дадена стойност на предсказващата променлива (X).
Моделите на логистичната регресия обикновено се записват в две важни форми:
1) Вероятностна форма (сигмоидна)
\[
p = P(Y=1 \mid X) = \frac{1}{1 + e^{-z}}
\]
с
\[
z = β0 + β1 X1 + β2 X2 + cdots + βk Xk
\]
Информация:
– \( p \) е вероятността на събитието (напр.: отлив = 1).
– \(e \) е числото на Ойлер (приблизително 2,71828).
– \(z \) е линейна комбинация от предиктори.
– \( \beta_0 \) е пресечната точка (константа).
– \( \beta_1, \beta_2, \ldots, \beta_k \) са коефициентите на регресия.
– \(X_1, X_2, \ldots, X_k \) са независими променливи.
Сигмоидната функция гарантира, че независимо от стойността на \(z\), стойността на \(p\) остава между 0 и 1.
2) Логит форма (логаритмични коефициенти)
Друга много важна форма е логит формата, която е логаритъм на коефициентите:
\[
\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]
Информация:
– \( \frac{p}{1-p} \) се нарича коефициент (относителен шанс).
– \( \ln \) е натурален логаритъм.
Логиталната форма обяснява, че логистичната регресия всъщност моделира логаритмичните коефициенти като линейна функция на предикторите. Това прави интерпретацията на коефициентите по-ясна, особено в контекста на коефициентите на коефициентите.
Разбиране на коефициентите и коефициентите на коефициентите
За да разберем истински формулата на логистичната регресия, трябва да правим разлика между вероятност и коефициент.
– Вероятност (p): шансът дадено събитие да се случи (от 0 до 1).
– Вероятности: сравнение на вероятността нещо да се случи с това да не се случи:
\[
\text{коефициенти} = \frac{p}{1-p}
\]
Пример: ако \( p = 0{,}8 \), тогава:
\[
\text{коефициенти} = \frac{0{,}8}{0{,}2} = 4
\]
Това означава, че е 4 пъти по-вероятно събитието да се случи, отколкото да не се случи.
В логистичната регресия коефициентът \( \beta \) често се интерпретира чрез коефициента на вероятност:
\[
\text{ИЛИ} = e^{\beta}
\]
– Ако \beta > 0 \), тогава \(e^{\beta} > 1 \): предикторът увеличава вероятността за събитието.
– Ако \beta < 0 \), тогава \e^{\beta} < 1 \): предикторът намалява вероятността за събитието.
– Ако \( \beta = 0 \), тогава \( e^{\beta} = 1 \): няма ефект върху коефициентите.
Например, ако \( \beta_1 = 0{,}7 \), тогава:
\[
e^{0{,}7} \приблизително 2{,}01
\]
Това означава, че всяко увеличение с 1 единица на \(X_1 \) ще умножи вероятността за събитието приблизително 2,01 пъти (ако другите променливи останат постоянни).
Пример за прост модел на логистична регресия
Да предположим, че имаме само една променлива-предиктор \( X \), например броят учебни часове на седмица, за да предскажем успешното полагане на изпит (издържал = 1, неуспешен = 0). Моделът е:
\[
\text{логит}(p) = \beta_0 + \beta_1
\]
Ако резултатът от оценката:
– \( \бета_0 = -4 \)
– \( \beta_1 = 0{,}8 \)
И така:
\[
z = -4 + 0{,}8X
\]
\[
p = \frac{1}{1 + e^{-(-4 + 0{,}8X)}} = \frac{1}{1 + e^{4 – 0{,}8X}}
\]
Ако \( X = 6 \) часа учене:
\[
z = -4 + 0{,}8(6) = 0{,}8
\]
\[
p = 1 + e^{-0{,}8} \approx 0{,}69
\]
Тълкуване: с 6 часа учене седмично, вероятността за успешно издържане е около 69%.
Оценка на коефициента: Защо не методът на най-малките квадрати?
В линейната регресия коефициентите често се изчисляват с помощта на метода на най-малките квадрати. В логистичната регресия обаче връзката между предикторите и вероятностите е нелинейна, така че подходът с най-малките квадрати не е идеален. Логистичната регресия обикновено използва метод за максимална вероятност (MLE), за да намери стойността на коефициента (β), която максимизира вероятността за наблюдаваните данни.
В обобщение, вероятността за бинарни наблюдения (y_i ∈ 0,1) и прогнози (p_i) е:
\[
L(β) = ∫_{i=1}^{n} p_i^{y_i}(1-p_i)^{(1-y_i)}
\]
След това често се преобразува в логаритмична функция на правдоподобието, за да се улесни изчисляването:
\[
θ(β) = θ(i=1)^{n} [y_i(p_i) + (1-y_i)(1-p_i)]
\]
Стойността на \( \beta \) се избира така, че да максимизира \( \ell(\beta) \). Числени методи като метода на Нютон-Рафсън или градиентно спускане често се използват от статистически софтуер.
Предимства и ограничения на логистичната регресия
Келебихан
1. Резултатите са под формата на вероятности, така че е лесно да се превърнат в решения.
2. Тълкуването на коефициента е ясно чрез коефициента на вероятност.
3. Подходящ за бинарни класификационни задачи и може да бъде разширен до полиномиални/ординални.
Ограничения
1. Приема линейна връзка между предикторите и логаритмичните коефициенти, а не директно с вероятността.
2. Може да е проблематично, ако има мултиколинеарност или данните са много небалансирани.
3. За много сложни модели на взаимовръзки, други нелинейни методи (напр. случайна гора или невронна мрежа) може да са по-добри.
Затваряне
Формулата за логистична регресия по същество комбинира линейна комбинация от променливи-предиктори със сигмоидна функция, за да се получат вероятности. Най-често срещаната форма е:
\[
p = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k)}}
\]
или в логитична форма:
\[
\ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k
\]
Чрез разбирането на тези две форми на формулата, можем да изградим предсказващи модели за различни проблеми с бинарната класификация, като същевременно интерпретираме влиянието на променливите чрез коефициента на вероятност (e^{\beta}). Логистичната регресия остава важна основа в анализа на данни, защото е проста, мощна и интерпретативна – и често е първата стъпка преди опитите за по-сложни модели.
Ако желаете, мога да добавя примерен пример за изчисление с малки данни (таблица) или примерна имплементация на логистична регресия в Python/R, заедно с интерпретация на резултата.
