邏輯迴歸公式
邏輯迴歸是統計和資料科學中最常用的方法之一，用於建模多個自變量（預測變量）與分類因變量（尤其是二元因變量，例如，是/否、成功/失敗、生病/健康）之間的關係。與產生連續值的線性迴歸不同，邏輯迴歸旨在估計事件發生的機率，因此最終結果介於 0 到 1 之間。本文將討論邏輯迴歸公式、各組成部分的意義以及如何解釋結果。
為什麼需要邏輯迴歸？
如果我們使用線性迴歸來預測機率，模型可能會產生小於 0 或大於 1 的值，這顯然不符合機率的實際情況。邏輯回歸透過使用非線性函數來解決這個問題，該函數將計算結果（可以是任何值）映射到 0 到 1 之間的機率值。最常用的函數是邏輯函數或 Sigmoid 函數。
例如，假設我們想根據客戶的年齡、訂閱時間和使用頻率來預測其是否會流失。預測結果只有兩種可能：流失 (1) 或不流失 (0)。邏輯迴歸非常適合這種情況。
邏輯迴歸的基本公式
邏輯迴歸的本質是，在給定預測變數 \( X \) 的值的情況下，對 \( Y = 1 \)（事件發生）的機率 \( p \) 進行建模。
邏輯迴歸模型通常以兩種重要形式表示：
1）機率形式（S型曲線）
\[
p = P(Y=1 \mid X) = \frac{1}{1 + e^{-z}}
\]
同
\[
z = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]
信息：
– \( p \) 是事件發生的機率（例如：流失 = 1）。
– \( e \) 是歐拉數（約 2,71828）。
– \( z \) 是預測變數的線性組合。
– \( \beta_0 \) 是截距（常數）。
– \( \beta_1, \beta_2, \ldots, \beta_k \) 是迴歸係數。
– \( X_1, X_2, \ldots, X_k \) 是獨立變數。
sigmoid 函數保證無論 \( z \) 的值為何，\( p \) 的值都保持在 0 到 1 之間。
2) Logit 形式（對數比值）
另一種非常重要的形式是logit形式，即賠率的對數：
\[
\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]
信息：
– \( \frac{p}{1-p} \) 稱為賠率（相對機會）。
– \( \ln \) 是自然對數。
邏輯迴歸模型中的logit形式解釋了邏輯迴歸實際上是將對數比值建模為預測變數的線性函數。這使得係數的解釋更加清晰，尤其是在比值比的背景下。
理解賠率和賠率比
為了真正理解邏輯迴歸公式，我們需要區分機率和比值。
– 機率 \( p \): 事件發生的機會（0 到 1）。
賠率：某事發生的機率與某事不發生的機率的比較：
\[
賠率 = p/(1-p)
\]
例如：如果 \( p = 0{,}8 \)，則：
\[
賠率 = 0.8 / 0.2 = 4
\]
這意味著該事件發生的可能性是不發生的4倍。
在邏輯迴歸中，係數 \( \beta \) 通常以優勢比來解釋：
\[
\text{OR} = e^{\beta}
\]
– 如果 \( \beta > 0 \)，則 \( e^{\beta} > 1 \)：預測因子增加了事件發生的幾率。
– 如果 \( \beta < 0 \)，則 \( e^{\beta} < 1 \)：預測變數會降低事件發生的機率。 – 如果 \( \beta = 0 \)，則 \( e^{\beta} = 1 \)：預測變數對事件發生的機率沒有影響。例如，如果 \( \beta_1 = 0,7 \)，則：\[ e^{0,7} \approx 2,01 \] 這意味著 \( X_1 \) 每增加 1 個單位，事件發生的機率大約會增加 2.01 倍（假設其他變數保持不變）。簡單邏輯迴歸模型範例：假設我們只有一個預測變數 \( X \)，例如每週學習的小時數，用於預測考試是否通過（通過 = 1，不通過 = 0）。模型如下：
