Kaedah Kuasa Dua Terkecil: Pendekatan Matematik untuk Penganggaran
pengenalan
Kaedah kuasa dua terkecil ialah teknik statistik yang digunakan untuk menganggarkan parameter dalam model regresi dengan meminimumkan jumlah ralat kuasa dua antara nilai sebenar dan nilai yang diramalkan oleh model. Kaedah ini sangat popular dan kerap digunakan dalam pelbagai bidang seperti ekonomi, kejuruteraan, biologi dan sains sosial. Konsep kuasa dua terkecil pertama kali dicadangkan oleh Adrien-Marie Legendre pada awal abad ke-19 dan kemudiannya dibangunkan lagi oleh Carl Friedrich Gauss.
Pemahaman Asas
Secara amnya, kaedah kuasa dua terkecil bertujuan untuk mencari garis regresi yang paling sesuai untuk set data dengan meminimumkan jumlah kuasa dua baki, atau ralat ramalan. Baki ialah perbezaan antara nilai yang diperhatikan dan nilai yang diramalkan.
Jika kita mempunyai set data yang terdiri daripada pasangan cerapan \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), maka matlamat kita adalah untuk mencari garis \(y = mx + b\) yang meminimumkan hasil tambah ralat kuasa dua\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
Kaedah ini boleh digunakan untuk kedua-dua regresi linear mudah dan regresi linear berganda. Dalam regresi linear mudah, kita hanya mempunyai satu pembolehubah bebas (x), manakala regresi linear berganda melibatkan lebih daripada satu pembolehubah bebas.
Regresi Linear Mudah
Mari kita mulakan dengan regresi linear mudah. Katakan kita mempunyai set data \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). Model regresi linear mudah yang ingin kita padankan ialah:
\[ y = mx + b + \epsilon \]
dengan \( m \) ialah cerun, \( b \) ialah pintasan dan \( \epsilon \) ialah ralat rawak.
Dengan menggunakan kaedah kuasa dua terkecil, kita boleh mencari anggaran parameter \( m \) dan \( b \) dengan meminimumkan fungsi ralat kuasa dua:
S(m, b) = \jumlah_{i=1}^{n} (y_i – (mx_i + b))^2 \]
Untuk meminimumkan \( S(m, b) \), kita dapati terbitan separa bagi \( S \) terhadap \( m \) dan \( b \), dan kemudian selesaikan persamaan ini untuk \( m \) dan \( b \):
\[ \begin{aligned}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]
Selepas penyederhanaan, kita memperoleh dua persamaan normal berikut:
\[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]
Dengan menyelesaikan sistem persamaan di atas, kita boleh mencari nilai \( m \) dan \( b \) yang meminimumkan ralat kuasa dua.
Regresi Linear Berganda
Dalam regresi linear berganda, kita menghadapi situasi di mana kita mempunyai lebih daripada satu pembolehubah bebas. Katakan kita mempunyai data dalam bentuk tuple \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). Model regresi yang kita gunakan ialah:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
Persamaan ini boleh ditulis dalam bentuk matriks sebagai:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Di mana:
– \( \mathbf{y} \) ialah vektor lajur bagi nilai y yang diperhatikan.
– \( \mathbf{X} \) ialah matriks nilai x yang diperhatikan (termasuk lajur 1 untuk pintasan).
– \( \mathbf{b} \) ialah vektor lajur bagi parameter (termasuk \( b_0 \)).
Matlamat kaedah kuasa dua terkecil adalah untuk meminimumkan fungsi ralat kuadratik berikut:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
Untuk meminimumkan fungsi ini, kita ambil terbitan separa S terhadap \( \mathbf{b} \) dan tetapkannya kepada sifar. Ini menghasilkan persamaan normal untuk regresi linear berganda:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
Dengan menyelesaikan sistem persamaan di atas, kita boleh mendapatkan anggaran parameter \( \mathbf{b} \):
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Kelebihan dan Had
Kaedah kuasa dua terkecil mempunyai banyak kelebihan. Ia merupakan kaedah yang sangat cekap dan mudah digunakan. Ia menawarkan penyelesaian unik jika \( \mathbf{X}^T \mathbf{X} \) boleh diterbalikkan, menjadikannya boleh dipercayai untuk banyak aplikasi praktikal.
Walau bagaimanapun, kaedah kuasa dua terkecil juga mempunyai batasan. Ia sangat sensitif terhadap outlier kerana ralat kuasa dua lebih menekankan perbezaan yang besar berbanding perbezaan yang kecil. Tambahan pula, andaian klasik bahawa ralat mempunyai taburan normal dengan min sifar dan varians malar mesti dipenuhi untuk hasil yang baik.
Aplikasi Praktikal
Kaedah kuasa dua terkecil kerap digunakan dalam analisis trend data, peramalan dan pembelajaran mesin untuk membina model ramalan. Dalam industri kewangan, kaedah kuasa dua terkecil digunakan untuk meramalkan harga saham atau prestasi pasaran. Dalam perubatan, ia digunakan untuk memodelkan hubungan antara dos ubat dan tindak balas pesakit. Dalam sains sosial, ia membantu memahami hubungan antara pembolehubah seperti pendidikan dan pendapatan.
Kesimpulannya
Kaedah kuasa dua terkecil merupakan salah satu teknik asas dalam statistik dan analisis data. Walaupun konsepnya mudah, kaedah ini menawarkan kuasa yang ketara dalam pemodelan dan pemahaman tentang hubungan antara pembolehubah. Dengan aplikasi yang meluas merentasi pelbagai bidang, pemahaman yang kukuh tentang kaedah ini sangat berharga untuk golongan profesional dan penyelidik. Melangkah ke hadapan, dengan peningkatan jumlah data yang ditemui dalam era data raya, penyesuaian dan aplikasi kaedah klasik seperti kuasa dua terkecil hanya akan menjadi semakin relevan.
