로지스틱 회귀 공식

로지스틱 회귀 공식

로지스틱 회귀는 통계 및 데이터 과학에서 여러 독립 변수(예측 변수)와 범주형 종속 변수, 특히 이진 변수(예: 예/아니오, 성공/실패, 질병/건강) 간의 관계를 모델링하는 데 가장 널리 사용되는 방법 중 하나입니다. 연속적인 값을 생성하는 선형 회귀와 달리, 로지스틱 회귀는 사건 발생 확률을 추정하도록 설계되었으므로 최종 결과는 0에서 1 사이의 값을 갖습니다. 이 글에서는 로지스틱 회귀 공식, 각 구성 요소의 의미, 그리고 해석 방법에 대해 살펴보겠습니다.

로지스틱 회귀 분석이 필요한 이유는 무엇일까요?

선형 회귀를 사용하여 확률을 예측할 경우, 모델이 0보다 작거나 1보다 큰 값을 생성할 수 있는데, 이는 확률 예측에 있어 명백히 부적절한 결과입니다. 로지스틱 회귀는 계산된 결과(임의의 값일 수 있음)를 0과 1 사이의 확률 값으로 매핑하는 비선형 함수를 사용하여 이러한 문제를 해결합니다. 가장 일반적으로 사용되는 함수는 로지스틱 함수 또는 시그모이드 함수입니다.

예를 들어, 고객의 나이, 구독 기간 및 사용 빈도를 기반으로 고객이 이탈할지 여부를 예측한다고 가정해 보겠습니다. 예측 결과는 이탈(1) 또는 이탈하지 않음(0)의 두 가지 가능성만 있습니다. 로지스틱 회귀는 이러한 유형의 상황에 적합합니다.

로지스틱 회귀 분석의 기본 공식

로지스틱 회귀 분석의 핵심은 예측 변수 \(X\)의 값이 주어졌을 때 \(Y=1\) (사건이 발생할 확률\(p\))을 모델링하는 것입니다.

로지스틱 회귀 모델은 일반적으로 두 가지 중요한 형태로 작성됩니다.

1) 확률 형태 (시그모이드)

\[
p = P(Y=1 \mid X) = \frac{1}{1 + e^{-z}}
\]

dengan

\[
z = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]

설명 :
– \( p \)는 사건의 확률입니다(예: 이탈 = 1).
– \( e \)는 오일러 상수(약 2,71828)입니다.
– \( z \)는 예측 변수의 선형 조합입니다.
– \( \beta_0 \)는 절편(상수)입니다.
– \( \beta_1, \beta_2, \ldots, \beta_k \)는 회귀 계수입니다.
– \( X_1, X_2, \ldots, X_k \)는 독립 변수입니다.

시그모이드 함수는 \( z \) 값이 무엇이든 \( p \) 값이 0과 1 사이에 유지되도록 합니다.

2) 로짓 형식(로그 오즈)

또 다른 매우 중요한 형태는 로짓 형태인데, 이는 확률의 로그값입니다.

\[
\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]

설명 :
– \( \frac{p}{1-p} \)는 확률(상대적 가능성)이라고 합니다.
– \( \ln \)은 자연로그입니다.

로짓 형식은 로지스틱 회귀 분석이 실제로 로그 오즈를 예측 변수의 선형 함수로 모델링한다는 것을 설명합니다. 이는 특히 오즈비의 맥락에서 계수를 해석하는 것을 더 명확하게 해줍니다.

확률과 확률비 이해하기

로지스틱 회귀 공식을 제대로 이해하려면 확률과 오즈를 구분해야 합니다.

– 확률(p): 사건이 발생할 가능성(0~1).
– 확률: 어떤 일이 일어날 확률과 일어나지 않을 확률의 비교:

\[
\text{배당률} = \frac{p}{1-p}
\]

예시: 만약 \( p = 0{,}8 \)이면 다음과 같습니다.

\[
확률 = \frac{0,}8}{0,}2} = 4
\]

이는 해당 사건이 발생할 확률이 발생하지 않을 확률보다 4배 더 높다는 것을 의미합니다.

로지스틱 회귀 분석에서 계수 \( \beta \)는 종종 오즈비로 해석됩니다.

\[
또는 = e^{\beta}
\]

– 만약 \( \beta > 0 \), 이면 \( e^{\beta} > 1 \): 예측 변수는 사건 발생 확률을 높입니다.
– 만약 \( \beta < 0 \)이면 \( e^{\beta} < 1 \): 예측 변수가 사건 발생 확률을 감소시킵니다. – 만약 \( \beta = 0 \)이면 \( e^{\beta} = 1 \): 확률에 아무런 영향을 미치지 않습니다. 예를 들어, \( \beta_1 = 0{,}7 \)이면 다음과 같습니다. \[ e^{0{,}7} \approx 2{,}01 \] 이는 \( X_1 \)이 1단위 증가할 때마다 사건 발생 확률이 약 2,01배 증가한다는 것을 의미합니다(다른 변수들이 일정하다고 가정할 때). 단순 로지스틱 회귀 모델의 예: 시험 합격 여부를 예측하기 위해 예측 변수 \( X \)가 하나만 있다고 가정해 보겠습니다. 예를 들어, 주당 공부 시간(합격 = 1, 불합격 = 0)을 사용합니다. 모델은 다음과 같습니다.

\[ \text{logit}(p) = \beta_0 + \beta_1 X \] 추정 결과가 다음과 같을 경우: - \( \beta_0 = -4 \) - \( \beta_1 = 0{,}8 \) 그러면: \[ z = -4 + 0{,}8X \] \[ p = \frac{1}{1 + e^{-(-4 + 0{,}8X)}} = \frac{1}{1 + e^{4 - 0{,}8X}} \] 만약 \( X = 6 \)시간 공부한다면: \[ z = -4 + 0{,}8(6) = 0{,}8 \] \[ p = \frac{1}{1 + e^{-0{,}8}} \approx 0{,}69 \] 해석: 주당 6시간 공부하면 약 69%의 점수로 합격할 확률이 있습니다. 계수 추정: 최소제곱법이 아닌 이유는 무엇일까요? 선형 회귀 분석에서는 계수를 계산할 때 종종 최소제곱법을 사용합니다. 하지만 로지스틱 회귀 분석에서는 예측 변수와 확률 간의 관계가 비선형적이므로 최소제곱법이 적합하지 않습니다. 로지스틱 회귀 분석에서는 일반적으로 최대우도추정(MLE)을 사용하여 관측 데이터의 우도를 최대화하는 계수 값 \( \beta \)를 찾습니다. 요약하면, 이진 관측값 \( y_i \in \{0,1\} \)과 예측값 \( p_i \)에 대한 가능도는 다음과 같습니다. \[ L(\beta) = \prod_{i=1}^{n} p_i^{y_i}(1-p_i)^{(1-y_i)} \] 계산을 용이하게 하기 위해 로그 가능도로 변환하는 경우가 많습니다. \[ \ell(\beta) = \sum_{i=1}^{n} \left[ y_i \ln(p_i) + (1-y_i)\ln(1-p_i) \right] \] \( \beta \) 값은 \( \ell(\beta) \)를 최대화하도록 선택됩니다. 뉴턴-랩슨 방법이나 경사 하강법과 같은 수치적 방법은 통계 소프트웨어에서 자주 사용됩니다. 로지스틱 회귀의 장점과 한계점 장점 1. 결과가 확률 형태로 제시되므로 의사 결정에 쉽게 적용할 수 있습니다. 2. 계수의 해석은 오즈비를 통해 명확하게 파악할 수 있습니다. 3. 이진 분류 문제에 적합하며 다항/순서형 분류로 확장할 수 있습니다. 한계점 1. 예측 변수와 로그 오즈 간의 관계가 확률과 직접적인 관계가 아닌 선형 관계라고 가정합니다. 2. 다중공선성이 존재하거나 데이터 불균형이 심한 경우 문제가 발생할 수 있습니다. 3. 매우 복잡한 관계 패턴의 경우, 랜덤 포레스트나 신경망과 같은 다른 비선형 방법이 더 우수할 수 있습니다. 결론적으로, 로지스틱 회귀 공식은 예측 변수의 선형 조합과 시그모이드 함수를 결합하여 확률을 산출하는 것입니다. 가장 일반적인 형태는 다음과 같습니다. \[ p = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k)}} \] 또는 로짓 형태로는 다음과 같습니다. \[ \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k \] 이 두 가지 형태의 공식을 이해함으로써, 다양한 이진 분류 문제에 대한 예측 모델을 구축하고, 오즈비 \( e^{\beta} \)를 통해 변수의 영향을 해석할 수 있습니다. 로지스틱 회귀는 단순하고 강력하며 해석력이 뛰어나기 때문에 데이터 분석의 중요한 기초로 남아 있으며, 더 복잡한 모델을 시도하기 전에 종종 첫 단계로 사용됩니다. 원하시면 소량의 데이터를 사용한 예시 계산(표)이나 파이썬/R을 이용한 로지스틱 회귀 분석 구현 예시 및 결과 해석을 추가해 드릴 수 있습니다.