최소제곱법: 추정을 위한 수학적 접근법
펜다훌루안
최소제곱법은 회귀 모델의 모수를 추정하는 데 사용되는 통계적 기법으로, 실제 값과 모델이 예측한 값 사이의 제곱 오차 합을 최소화합니다. 이 방법은 매우 널리 사용되며 경제학, 공학, 생물학, 사회과학 등 다양한 분야에서 활용됩니다. 최소제곱법의 개념은 19세기 초 아드리앙 마리 르장드르에 의해 처음 제안되었고, 이후 카를 프리드리히 가우스에 의해 더욱 발전되었습니다.
기본 이해
일반적으로 최소제곱법은 잔차 제곱합, 즉 예측 오차를 최소화하여 데이터 세트에 가장 적합한 회귀선을 찾는 것을 목표로 합니다. 잔차는 관측값과 예측값의 차이입니다.
관측값 쌍 \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\)으로 구성된 데이터 세트가 있는 경우, 우리의 목표는 제곱 오차 합 \( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \)을 최소화하는 직선 \(y = mx + b\)을 찾는 것입니다.
이 방법은 단순 선형 회귀와 다중 선형 회귀 모두에 적용할 수 있습니다. 단순 선형 회귀에서는 독립 변수(x)가 하나만 있는 반면, 다중 선형 회귀에서는 독립 변수가 둘 이상입니다.
단순 선형 회귀
먼저 단순 선형 회귀 분석부터 시작해 보겠습니다. 데이터 세트가 \((x_1, y_1), (x_2, y_2), …, (x_n, y_n))이라고 가정해 봅시다. 우리가 적합시키고자 하는 단순 선형 회귀 모델은 다음과 같습니다.
\[ y = mx + b + \epsilon \]
여기서 \( m \)은 기울기, \( b \)는 절편, \( \epsilon \)은 확률 오차입니다.
최소제곱법을 사용하면 제곱 오차 함수를 최소화함으로써 모수 \( m \)과 \( b \)의 추정값을 구할 수 있습니다.
\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
\( S(m, b) \)를 최소화하기 위해 \( S \)를 \( m \)와 \( b \)에 대해 편미분한 다음, 이 방정식을 풀어 \( m \)와 \( b \)를 구합니다.
\[ \begin{aligned}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]
간소화 과정을 거치면 다음과 같은 두 개의 정규 방정식을 얻습니다.
\[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]
위의 연립방정식을 풀면 제곱 오차를 최소화하는 \( m \)과 \( b \) 값을 찾을 수 있습니다.
다중 선형 회귀
다중 선형 회귀 분석에서는 독립 변수가 두 개 이상인 상황을 접하게 됩니다. 데이터가 \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\)와 같은 튜플 형태로 존재한다고 가정해 보겠습니다. 이때 사용하는 회귀 모델은 다음과 같습니다.
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
이 방정식은 행렬 형태로 다음과 같이 나타낼 수 있습니다.
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
어디:
– \( \mathbf{y} \)는 관측된 y 값들의 열 벡터입니다.
– \( \mathbf{X} \)는 관측된 x 값들의 행렬입니다(절편에 대한 첫 번째 열을 포함).
– \( \mathbf{b} \)는 매개변수( \( b_0 \) 포함)의 열 벡터입니다.
최소제곱법의 목표는 다음과 같은 2차 오차 함수를 최소화하는 것입니다.
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
이 함수를 최소화하기 위해 S를 \( \mathbf{b} \)에 대해 편미분하고 이를 0으로 설정합니다. 이렇게 하면 다중 선형 회귀에 대한 일반적인 방정식을 얻을 수 있습니다.
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
위의 연립방정식을 풀면 매개변수 \( \mathbf{b} \)의 추정값을 얻을 수 있습니다.
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
기쁨과 기쁨
최소제곱법은 여러 가지 장점을 가지고 있습니다. 매우 효율적이고 사용하기 간단한 방법이며, \( \mathbf{X}^T \mathbf{X} \)가 역행렬을 가질 경우 유일한 해를 제공하므로 많은 실제 응용 분야에서 신뢰할 수 있습니다.
하지만 최소제곱법에도 한계가 있습니다. 제곱 오차가 작은 차이보다 큰 차이를 더 강조하기 때문에 이상치에 매우 민감합니다. 또한, 좋은 결과를 얻으려면 오차가 평균이 0이고 분산이 일정한 정규분포를 따른다는 고전적인 가정이 충족되어야 합니다.
응용 프락티스
최소제곱법은 데이터 추세 분석, 예측, 머신러닝 분야에서 예측 모델 구축에 자주 사용됩니다. 금융 업계에서는 주가나 시장 성과를 예측하는 데 활용되고, 의학에서는 약물 용량과 환자 반응 간의 관계를 모델링하는 데 사용됩니다. 사회과학 분야에서는 교육 수준과 소득과 같은 변수 간의 관계를 이해하는 데 도움을 줍니다.
결론
최소제곱법은 통계 및 데이터 분석의 기본 기법 중 하나입니다. 개념은 간단하지만, 이 방법은 변수 간의 관계를 모델링하고 이해하는 데 매우 강력한 도구입니다. 다양한 분야에서 널리 활용되는 만큼, 최소제곱법에 대한 탄탄한 이해는 전문가와 연구자 모두에게 매우 중요합니다. 앞으로 빅데이터 시대에 접어들면서 데이터 양이 급증할 것으로 예상되는 가운데, 최소제곱법과 같은 고전적인 방법의 활용은 더욱 중요해질 것입니다.
