線形回帰の例題と考察
線形回帰は、2つ以上の変数間の関係を明らかにするために用いられる統計的手法です。この手法は、経済学、経営学、社会科学、自然科学など、様々な分野で広く用いられています。本稿では、線形回帰とは何か、その計算方法について解説し、読者がこの概念をより深く理解できるよう、いくつかの例題とその解説を提供します。
線形回帰を理解する
線形回帰は、1つまたは複数の独立変数（予測変数）と従属変数（応答変数）の関係をモデル化するために使用される分析手法です。単回帰分析では、独立変数と従属変数がそれぞれ1つずつ用いられますが、重回帰分析では、独立変数が複数用いられます。
単純線形回帰直線の式は次のとおりです。
\[ Y = a + bX \]
ディ・マナ:
– \( Y \) は従属変数です。
– \( X \) は独立変数です。
– \( a \) は切片であり、X = 0 のときの Y の値です。
– \( b \) は回帰係数であり、X が 1 単位変化したときに Y がどれだけ変化するかを示します。
線形回帰の手順
1. データの収集：まず、分析対象となるデータを収集します。
2. データのプロット：変数間に線形関係があるかどうかを確認するために散布図を作成します。
3. 回帰係数を計算する：最小二乗法を用いて最適な直線を決定する。
4. モデルの検証：t検定を用いて回帰係数の有意性を検定し、R二乗値を求めることで、モデルがデータにどの程度適合しているかを確認します。
問題と回答の例
例題1：単純線形回帰
質問：
ある研究者は、学習時間数（X）と学生の試験成績（Y）の関係を知りたいと考えている。得られたデータは以下のとおりである。
| 学習時間（X） | 試験の点数（Y） |
|——————–|——————–|
| 2 | 70 |
| 3 | 75 |
| 5 | 80 |
| 7 | 85 |
| 8 | 90 |
このデータから線形回帰方程式を作成してください！
議論：
1. 平均値の計算：
\[
\bar{X} = \frac{2 + 3 + 5 + 7 + 8}{5} = 5
\]
\[
\bar{Y} = \frac{70 + 75 + 80 + 85 + 90}{5} = 80
\]
2. 回帰係数 \( b \) の計算:
\[
b = \frac{\sum (X_i – \bar{X})(Y_i – \bar{Y})}{\sum (X_i – \bar{X})^2}
\]
\[
\sum (X_i – \bar{X})(Y_i – \bar{Y}) = (2 – 5)(70 – 80) + (3 – 5)(75 – 80) + (5 – 5)(80 – 80) + (7 – 5)(85 – 80) + (8 – 5)(90 – 80)
\]
\[
= (-3)(-10) + (-2)(-5) + (0)(0) + (2)(5) + (3)(10) = 30 + 10 + 0 + 10 + 30 = 80
\]
\[
\sum (X_i – \bar{X})^2 = (2 – 5)^2 + (3 – 5)^2 + (5 – 5)^2 + (7 – 5)^2 + (8 – 5)^2
\]
\[
= 9 + 4 + 0 + 4 + 9 = 26
\]
\[
b = \frac{80}{26} \approx 3.08
\]
3. 切片 \( a \) の計算:
\[
a = \bar{Y} – b\bar{X}
\]
\[
a = 80 – 3.08 × 5 = 80 – 15.4 = 64.6
\]
4. 回帰方程式：
\[
Y = 64.6 + 3.08X
\]
したがって、このデータの線形回帰方程式は \( Y = 64.6 + 3.08X \) となります。これは、学習時間が1時間増えるごとに、テストの点数が3.08点上昇すると予想されることを意味します。
例題2：モデルテストと解釈
質問：
同じデータを用いて、モデルがデータにどれだけ適合しているかを測定するために、R二乗（R²）値を計算してください。また、回帰係数 \( b \) の有意性を検定してください。
議論：
1. 総平方和（SST）、回帰平方和（SSR）、および誤差平方和（SSE）を計算します。
\[
SST = \sum (Y_i – \bar{Y})^2
\]
\[
SST = (70 – 80)^2 + (75 – 80)^2 + (80 – 80)^2 + (85 – 80)^2 + (90 – 80)^2 = 100 + 25 + 0 + 25 + 100 = 250
\]
\[
SSR = \sum (\hat{Y}_i – \bar{Y})^2
\]
ここで、\( \hat{Y}_i \) は回帰方程式の予測値です。
\[
\hat{Y}_i = 64.6 + 3.08X_i
\]
\[
\hat{Y} = [67.76, 70.84, 76.0, 82.16, 85.24]
\]
\[
\bar{Y} = 80
\]
\[
SSR = (67.76 – 80)^2 + (70.84 – 80)^2 + (76.0 – 80)^2 + (82.16 – 80)^2 + (85.24 – 80)^2
\]
\[
SSR = (-12.24)^2 + (-9.16)^2 + (-4.0)^2 + 2.16^2 + 5.24^2 = 149.8
\]
2. SSEの計算：
\[
SSE = SST – SSR = 250 – 149.8 = 100.2
\]
3. R二乗値の計算：
\[
R^2 = \frac{SSR}{SST} = \frac{149.8}{250} \approx 0.6
\]
R二乗値が0.6ということは、このモデルがデータの変動の約60%を説明していることを示しています。これは、回帰直線がデータにかなりよく適合していることを示しています。
4. 係数 \( b \) の有意性に関する t 検定:
\[
t = \frac{b}{SE(b)}
\]
\[
SE(b) = \sqrt{\frac{SSE}{n-2}} / \sqrt{\sum (X_i – \bar{X})^2}
\]
\[
SE(b) = \sqrt{\frac{100.2}{5-2}} / \sqrt{26}
\]
\[
SE(b) = \sqrt{33.4} / \sqrt{26} \approx 1.13
\]
\[
t = \frac{3.08}{1.13} \approx 2.73
\]
\( t統計量 \approx 2.73 \) の場合、一般的な有意水準 (α = 0.05) を用いると、t表と比較します。例えば、\( df = 3 \) の場合、臨界 \( t \) は約 2.353 です。この場合、\( t観測値 > t臨界値 \) となり、係数が有意であることがわかります。
結論
この記事では、線形回帰の基本、回帰係数と切片の計算方法、そして例題を用いた結果の解釈方法について解説しました。この手法を使いこなすには、様々なデータセットを用いた頻繁な練習が不可欠です。線形回帰はデータ分析において非常に有用なツールであり、変数間の関係性を深く理解するのに役立ちます。
