Formel für logistische Regression
Die logistische Regression ist eine der gängigsten Methoden in Statistik und Data Science, um den Zusammenhang zwischen mehreren unabhängigen Variablen (Prädiktoren) und einer kategorialen abhängigen Variable, insbesondere einer binären Variable (z. B. ja/nein, Erfolg/Misserfolg, krank/gesund), zu modellieren. Im Gegensatz zur linearen Regression, die kontinuierliche Werte liefert, dient die logistische Regression der Schätzung der Wahrscheinlichkeit eines Ereignisses, sodass das Endergebnis im Bereich von 0 bis 1 liegt. In diesem Artikel werden wir die Formel der logistischen Regression, die Bedeutung ihrer einzelnen Komponenten und deren Interpretation erläutern.
Warum ist logistische Regression notwendig?
Verwendet man lineare Regression zur Wahrscheinlichkeitsberechnung, kann das Modell Werte unter 0 oder über 1 liefern, was für Wahrscheinlichkeiten unplausibel ist. Die logistische Regression löst dieses Problem durch eine nichtlineare Funktion, die das berechnete Ergebnis (das jeden beliebigen Wert annehmen kann) einem Wahrscheinlichkeitswert zwischen 0 und 1 zuordnet. Die am häufigsten verwendete Funktion ist die logistische oder Sigmoidfunktion.
Nehmen wir beispielsweise an, wir möchten anhand des Alters, der Abonnementdauer und der Nutzungshäufigkeit vorhersagen, ob ein Kunde abwandert. Das vorhergesagte Ergebnis kann nur zwei Möglichkeiten haben: Abwanderung (1) oder keine Abwanderung (0). Für solche Situationen eignet sich die logistische Regression gut.
Grundformel für die logistische Regression
Das Wesen der logistischen Regression besteht darin, die Wahrscheinlichkeit \( p \) zu modellieren, dass \( Y = 1 \) (das Ereignis eintritt), gegeben den Wert der Prädiktorvariablen \( X \).
Logistische Regressionsmodelle werden üblicherweise in zwei wichtigen Formen geschrieben:
1) Wahrscheinlichkeitsform (Sigmoidfunktion)
\[
p = P(Y=1 \mid X) = \frac{1}{1 + e^{-z}}
\]
mit
\[
z = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]
Information:
– \( p \) ist die Wahrscheinlichkeit des Ereignisses (z.B.: churn = 1).
– \( e \) ist die Eulersche Zahl (ungefähr 2,71828).
– \( z \) ist eine Linearkombination von Prädiktoren.
– \( \beta_0 \) ist der Achsenabschnitt (die Konstante).
– \( \beta_1, \beta_2, \ldots, \beta_k \) sind die Regressionskoeffizienten.
– \( X_1, X_2, \ldots, X_k \) sind unabhängige Variablen.
Die Sigmoidfunktion stellt sicher, dass der Wert von \( z \) unabhängig vom Wert von \( z \) zwischen 0 und 1 bleibt.
2) Logit-Formel (Log-Odds)
Eine weitere sehr wichtige Form ist die Logit-Form, die den Logarithmus der Chancen darstellt:
\[
logit(p) = ln(p/(1-p)) = β₀ + β₁ X₁ + β₂ X₂ + ... + βₖ Xₖ
\]
Information:
– \( \frac{p}{1-p} \) wird als Chancenverhältnis (relative Wahrscheinlichkeit) bezeichnet.
– \( \ln \) ist der natürliche Logarithmus.
Die Logit-Formel erklärt, dass die logistische Regression die Log-Odds als lineare Funktion der Prädiktoren modelliert. Dies erleichtert die Interpretation der Koeffizienten, insbesondere im Kontext von Odds Ratios.
Odds und Odds Ratios verstehen
Um die Formel der logistischen Regression wirklich zu verstehen, müssen wir zwischen Wahrscheinlichkeit und Chancen unterscheiden.
– Wahrscheinlichkeit \( p \): die Chance, dass ein Ereignis eintritt (0 bis 1).
– Chancen: Vergleich der Wahrscheinlichkeit, dass etwas passiert, mit der Wahrscheinlichkeit, dass es nicht passiert:
\[
\text{Odds} = \frac{p}{1-p}
\]
Beispiel: Wenn \( p = 0{,}8 \), dann:
\[
\text{Odds} = \frac{0{,}8}{0{,}2} = 4
\]
Das bedeutet, dass das Ereignis viermal wahrscheinlicher eintritt als nicht.
In der logistischen Regression wird der Koeffizient \( \beta \) oft über die Odds Ratio interpretiert:
\[
\text{OR} = e^{\beta}
\]
– Wenn \( \beta > 0 \), dann \( e^{\beta} > 1 \): Der Prädiktor erhöht die Wahrscheinlichkeit des Ereignisses.
– Wenn \( \beta < 0 \), dann \( e^{\beta} < 1 \): Der Prädiktor verringert die Wahrscheinlichkeit des Ereignisses. – Wenn \( \beta = 0 \), dann \( e^{\beta} = 1 \): Es gibt keinen Effekt auf die Wahrscheinlichkeit. Zum Beispiel: Wenn \( \beta_1 = 0,7 \), dann: \[ e^{0,7} \approx 2,01 \]. Das bedeutet, dass jede Erhöhung von \( X_1 \) um eine Einheit die Wahrscheinlichkeit des Ereignisses um etwa das 2,01-Fache erhöht (unter der Annahme, dass alle anderen Variablen konstant bleiben). Beispiel eines einfachen logistischen Regressionsmodells: Angenommen, wir haben nur eine Prädiktorvariable \( X \), beispielsweise die Anzahl der Lernstunden pro Woche, um das Bestehen einer Prüfung vorherzusagen (bestanden = 1, nicht bestanden = 0). Das Modell:
