Формула за логистична регресия

Формула за логистична регресия

Логистичната регресия е един от най-популярните методи в статистиката и науката за данни за моделиране на връзката между редица независими променливи (предиктори) и категорична зависима променлива, особено бинарна (напр. да/не, успех/неуспех, болен/здрав). За разлика от линейната регресия, която дава непрекъснати стойности, логистичната регресия е предназначена да оцени вероятността за дадено събитие, така че крайният резултат е в диапазона от 0 до 1. В тази статия ще обсъдим формулата на логистичната регресия, значението на всеки компонент и как да го интерпретираме.

Защо е необходима логистична регресия?

Ако използваме линейна регресия за прогнозиране на вероятности, моделът може да генерира стойности под 0 или над 1, което очевидно е неразумно за вероятност. Логистичната регресия решава този проблем, като използва нелинейна функция, която съпоставя изчисления резултат (който може да бъде всяка стойност) със стойност на вероятността между 0 и 1. Най-често използваната функция е логистичната или сигмоидната функция.

Например, да предположим, че искаме да предвидим дали даден клиент ще се откаже от услугата въз основа на възрастта, продължителността на абонамента и честотата на използване. Прогнозираният резултат има само две възможности: отлив (1) или липса на отлив (0). Логистичната регресия е подходяща за този тип ситуации.

Основна формула за логистична регресия

Същността на логистичната регресия е да моделира вероятността (p) (събитието да се случи) (Y = 1), при дадена стойност на предсказващата променлива (X).

Моделите на логистичната регресия обикновено се записват в две важни форми:

1) Вероятностна форма (сигмоидна)

\[
p = P(Y=1 \mid X) = \frac{1}{1 + e^{-z}}
\]

с

\[
z = β0 + β1 X1 + β2 X2 + cdots + βk Xk
\]

Информация:
– \( p \) е вероятността на събитието (напр.: отлив = 1).
– \(e \) е числото на Ойлер (приблизително 2,71828).
– \(z \) е линейна комбинация от предиктори.
– \( \beta_0 \) е пресечната точка (константа).
– \( \beta_1, \beta_2, \ldots, \beta_k \) са коефициентите на регресия.
– \(X_1, X_2, \ldots, X_k \) са независими променливи.

Сигмоидната функция гарантира, че независимо от стойността на \(z\), стойността на \(p\) остава между 0 и 1.

2) Логит форма (логаритмични коефициенти)

Друга много важна форма е логит формата, която е логаритъм на коефициентите:

\[
\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]

Информация:
– ( \frac{p}{1-p} \) се нарича коефициент (относителен шанс).
– \( \ln \) е натурален логаритъм.

Логиталната форма обяснява, че логистичната регресия всъщност моделира логаритмичните коефициенти като линейна функция на предикторите. Това прави интерпретацията на коефициентите по-ясна, особено в контекста на коефициентите на коефициентите.

Разбиране на коефициентите и коефициентите на коефициентите

За да разберем истински формулата на логистичната регресия, трябва да правим разлика между вероятност и коефициент.

– Вероятност (p): шансът дадено събитие да се случи (от 0 до 1).
– Вероятности: сравнение на вероятността нещо да се случи с това да не се случи:

\[
\text{коефициенти} = \frac{p}{1-p}
\]

Пример: ако \( p = 0{,}8 \), тогава:

\[
\text{коефициенти} = \frac{0{,}8}{0{,}2} = 4
\]

Това означава, че е 4 пъти по-вероятно събитието да се случи, отколкото да не се случи.

В логистичната регресия коефициентът \( \beta \) често се интерпретира чрез коефициента на вероятност:

\[
\text{ИЛИ} = e^{\beta}
\]

– Ако \beta > 0 \), тогава \(e^{\beta} > 1 \): предикторът увеличава вероятността за събитието.
– Ако \( \beta < 0 \), тогава \( e^{\beta} < 1 \): предикторът намалява вероятността за събитието. - Ако \( \beta = 0 \), тогава \( e^{\beta} = 1 \): няма ефект върху вероятността. Например, ако \( \beta_1 = 0{,}7 \), тогава: \[ e^{0{,}7} \approx 2{,}01 \] Това означава, че всяко увеличение с 1 единица на \( X_1 \) ще умножи вероятността за събитието приблизително 2,01 пъти (ако другите променливи останат постоянни). Пример за прост логистичен регресионен модел Да предположим, че имаме само една променлива-предиктор \( X \), например броят часове учене на седмица, за да предскажем успешно полагане на изпит (издържал = 1, неуспешен = 0). Моделът:

\[ \text{logit}(p) = \beta_0 + \beta_1 X \] Ако очакваният резултат е: - \( \beta_0 = -4 \) - \( \beta_1 = 0{,}8 \) Тогава: \[ z = -4 + 0{,}8X \] \[ p = \frac{1}{1 + e^{-(-4 + 0{,}8X)}} = \frac{1}{1 + e^{4 - 0{,}8X}} \] Ако \( X = 6 \) часа учене: \[ z = -4 + 0{,}8(6) = 0{,}8 \] \[ p = \frac{1}{1 + e^{-0{,}8}} \approx 0{,}69 \] Интерпретация: с 6 часа учене седмично, вероятността за преминаване с резултат около 69%. Оценка на коефициента: Защо не методът на най-малките квадрати? При линейната регресия коефициентите често се изчисляват с помощта на метода на най-малките квадрати. При логистичната регресия обаче връзката между предикторите и вероятностите е нелинейна, така че подходът с най-малките квадрати не е идеален. Логистичната регресия обикновено използва метод за максимална вероятност (MLE), за да намери стойността на коефициента (β), която максимизира вероятността за наблюдаваните данни. В обобщение, вероятността за бинарни наблюдения (y_i ∈ 0,1) и прогнози (p_i) е: [ L(beta) = prod_{i=1}^{n} p_i^{y_i}(1-p_i)^{(1-y_i)} ] След това често се преобразува в логаритмична вероятност, за да се улесни изчисляването: [ ell(beta) = sum_{i=1}^{n} [ y_i ln(p_i) + (1-y_i) ln(1-p_i) ] Стойността на (beta) се избира така, че да се максимизира (ell(beta)). Числени методи като метод на Нютон-Рафсън или градиентен спуск често се използват от статистически софтуер. Предимства и ограничения на логистичната регресия Предимства 1. Резултатите са под формата на вероятности, така че е лесно да се превърнат в решения. 2. Интерпретацията на коефициентите е ясна чрез отношението на вероятностите. 3. Подходящ за бинарни класификационни задачи и може да бъде разширен до мултиномиални/ординални. Ограничения 1. Предполага линейна връзка между предикторите и логаритмичните вероятности, а не директно към вероятностите. 2. Може да е проблематично, ако има мултиколинеарност или силно небалансирани данни. 3. За много сложни модели на зависимости, други нелинейни методи (напр. случайна гора или невронна мрежа) може да са по-добри. Заключение Формулата за логистична регресия по същество комбинира линейна комбинация от променливи-предиктори със сигмоидна функция, за да се получат вероятности. Най-често срещаната форма е: \[ p = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k)}} \] или в логитична форма: \[ \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k \] Разбирайки тези две форми на формулата, можем да изградим предсказващи модели за различни проблеми с двоичната класификация, като същевременно интерпретираме влиянието на променливите чрез коефициента на вероятност \( e^{\beta} \). Логистичната регресия остава важна основа в анализа на данни, защото е проста, мощна и интерпретативна – и често е първата стъпка преди опитите за по-сложни модели. Ако желаете, мога да добавя примерен изчисление с малки данни (таблица) или примерна имплементация на логистична регресия в Python/R, заедно с интерпретация на резултата.