Analisis Regresi Linear Mudah
Regresi linear mudah ialah teknik statistik yang digunakan untuk menganalisis hubungan antara dua pembolehubah kuantitatif. Pembolehubah yang kita cuba ramalkan dipanggil pembolehubah bersandar atau tindak balas, manakala pembolehubah yang digunakan untuk membuat ramalan dipanggil pembolehubah bebas atau peramal. Dalam regresi linear mudah, kita cuba mencari garis lurus terbaik yang menggambarkan hubungan antara dua pembolehubah ini.
Konsep Asas Regresi Linear Mudah
Regresi linear mudah adalah berdasarkan andaian bahawa terdapat hubungan linear antara pembolehubah bersandar \(Y\) dan pembolehubah bebas \(X\). Bentuk umum model regresi linear mudah ialah:
\[ Y = \beta_0 + \beta_1 X + \epsilon \]
Di mana:
– \( Y \) ialah pembolehubah bersandar.
– \( X \) ialah pembolehubah bebas.
– \( \beta_0 \) ialah pintasan, iaitu nilai \(Y\) apabila \(X = 0\).
– \( \beta_1 \) ialah cerun atau kecerunan, iaitu purata perubahan dalam \(Y\) bagi setiap unit perubahan dalam \(X\).
– \( \epsilon \) ialah istilah ralat atau baki yang mewakili kebolehubahan dalam \(Y\) yang tidak dapat dijelaskan oleh \(X\).
Matlamat regresi linear mudah adalah untuk menganggarkan parameter \(\beta_0\) dan \(\beta_1\) supaya model boleh digunakan untuk meramalkan nilai \(Y\) yang dikaitkan dengan nilai \(X\).
Kaedah Kuasa Dua Terkecil
Salah satu kaedah yang paling biasa digunakan untuk menyesuaikan model regresi linear mudah ialah kaedah Kuasa Dua Terkecil. Kaedah ini bertujuan untuk meminimumkan jumlah kuasa dua sisihan menegak antara pemerhatian sebenar dan nilai yang diramalkan oleh model. Katakan kita mempunyai n pemerhatian yang terdiri daripada pasangan \((x_i, y_i)\) untuk \(i = 1, 2, …, n\). Fungsi yang akan diminimumkan ialah:
\[ S(\beta_0, \beta_1) = \sum_{i=1}^{n} (y_i – (\beta_0 + \beta_1 x_i))^2 \]
Untuk mencari \(\beta_0\) dan \(\beta_1\) yang meminimumkan fungsi ini, kita ambil terbitan separa bagi \(S(\beta_0, \beta_1)\) berkenaan dengan setiap parameter dan tetapkan terbitan ini kepada sifar. Pengiraan matematik boleh dipermudahkan seperti berikut:
\[ \beta_1 = \frac{\sum_{i=1}^{n} (x_i – \bar{x})(y_i – \bar{y})}{\sum_{i=1}^{n} (x_i – \bar{x})^2} \]
\[ \beta_0 = \bar{y} – \beta_1 \bar{x} \]
Di mana:
– \(\bar{x}\) ialah purata bagi \(X\)
– \(\bar{y}\) ialah purata bagi \(Y\)
Selepas memperoleh parameter \(\beta_0\) dan \(\beta_1\), model regresi linear mudah boleh digunakan untuk meramalkan nilai \(Y\) bagi setiap nilai \(X\).
Andaian dalam Regresi Linear Mudah
Untuk keputusan yang sah dan boleh dipercayai, regresi linear mudah mengandaikan beberapa perkara:
1. Lineariti: Hubungan antara pembolehubah bersandar dan pembolehubah bebas mestilah linear.
2. Kebebasan: Pemerhatian mestilah bebas antara satu sama lain.
3. Homoskedastisitas: Kebolehubahan baki mestilah malar sepanjang julat nilai pembolehubah bebas.
4. Normaliti Sisa: Sisa (ralat) mesti mengikut taburan normal.
Jika andaian ini tidak dipenuhi, keputusan model regresi linear mudah tidak akan boleh dipercayai dan mungkin tidak dapat membuat ramalan yang tepat.
Penilaian Model Regresi
Satu cara untuk menilai sejauh mana model regresi linear mudah telah meramalkan adalah dengan menggunakan Pekali Penentuan (\(R^2\)). Pekali penentuan menunjukkan perkadaran kebolehubahan dalam pembolehubah bersandar yang boleh dijelaskan oleh kebolehubahan dalam pembolehubah bebas.
\[ R^2 = \frac{\sum_{i=1}^{n} (\hat{y}_i – \bar{y})^2}{\sum_{i=1}^{n} (y_i – \bar{y})^2} \]
Di mana:
– \(\hat{y}_i\) ialah nilai ramalan bagi \(Y\).
– \(y_i\) ialah nilai sebenar \(Y\).
– \(\bar{y}\) ialah purata nilai \(Y\).
Nilai \(R^2\) adalah antara 0 hingga 1. Nilai \(R^2\) yang hampir dengan 1 menunjukkan bahawa model tersebut boleh menjelaskan kebanyakan kebolehubahan dalam pembolehubah bersandar.
Pelaksanaan dalam Bahasa Pengaturcaraan
Untuk melaksanakan regresi linear mudah, kita boleh menggunakan pelbagai perisian statistik atau bahasa pengaturcaraan. Berikut ialah contoh pelaksanaan dalam Python menggunakan pustaka `scikit-learn`:
“`python
import numpy sebagai np
import matplotlib.pyplot sebagai plt
daripada import sklearn.linear_model LinearRegression
daripada sklearn.metrics import mean_squared_error, r2_score
Tarikh
X = np.array([[1], [2], [3], [4], [5]]).astype(np.float64)
y = np.array([1.5, 3.6, 3.5, 2.9, 5.5]).astype(np.float64)
model
model = LinearRegression()
model.fit (X, y)
Ramalan
y_pred = model.predict (X)
Pekali
beta_0 = model.pintasan_
beta_1 = model.coef_[0]
cetak(f'Pintasan: {beta_0}')
cetak(f'Cerun: {beta_1}')
cetak(f'Ralat min kuasa dua: {ralat_min_kuasa_dua(y, y_pred)}')
cetak(f'Pekali penentuan (R^2): {skor_r2(y, y_pred)}')
Plot data dan garis regresi
plt.scatter(X, y, warna='biru')
plt.plot(X, y_pred, warna='merah')
plt.xlabel('X')
plt.ylabel('Y')
plt.show ()
""
Dalam contoh di atas, kita mula-mula mengimport pustaka yang diperlukan, mentakrifkan data \(X\) dan \(Y\), dan kemudian menggunakan objek `LinearRegression` daripada `scikit-learn` untuk menyesuaikan model dengan data. Setelah model dipasang, kita membuat ramalan dan mengira pekali, serta ralat min kuasa dua dan pekali penentuan. Akhir sekali, kita memplotkan data dan garis regresi.
Kesimpulannya
Regresi linear mudah merupakan alat analisis statistik yang ampuh digunakan untuk menjelaskan hubungan antara dua pembolehubah kuantitatif. Dengan beberapa andaian asas tentang lineariti, kebebasan, homoskedastisitas, dan normaliti, kita boleh meramalkan nilai pembolehubah bersandar berdasarkan nilai pembolehubah bebas. Kaedah Kuadrat Terkecil menyediakan cara yang berkesan untuk memadankan garis regresi dan menentukan parameter optimum. Penilaian model melalui pekali penentuan (R2) memberikan gambaran tentang sejauh mana prestasi model kita.
Walaupun regresi linear mudah mempunyai batasan, seperti hanya dapat mengendalikan dua pembolehubah dan andaian yang mesti dipenuhi, teknik ini kekal sebagai asas penting dalam statistik dan analisis data, dan sering digunakan sebagai langkah pertama dalam memahami hubungan antara pembolehubah sebelum beralih kepada kaedah yang lebih kompleks.
