ວິທີການຄິດໄລ່ກຳລັງສອງໜ້ອຍທີ່ສຸດ: ວິທີການທາງຄະນິດສາດເພື່ອການປະເມີນ
Pendahuluan
ວິທີການຂອງຄ່າກຳລັງສອງນ້ອຍສຸດແມ່ນເຕັກນິກທາງສະຖິຕິທີ່ໃຊ້ເພື່ອປະເມີນພາລາມິເຕີໃນຮູບແບບການຖົດຖອຍໂດຍການຫຼຸດຜ່ອນຜົນບວກຂອງຄວາມຜິດພາດກຳລັງສອງລະຫວ່າງຄ່າຕົວຈິງ ແລະ ຄ່າທີ່ຄາດຄະເນໂດຍຕົວແບບ. ວິທີການນີ້ເປັນທີ່ນິຍົມຫຼາຍ ແລະ ມັກຖືກນໍາໃຊ້ໃນຫຼາຍໆຂົງເຂດເຊັ່ນ: ເສດຖະສາດ, ວິສະວະກໍາ, ຊີວະສາດ, ແລະ ສັງຄົມສາດ. ແນວຄວາມຄິດຂອງຄ່າກຳລັງສອງນ້ອຍສຸດໄດ້ຖືກສະເໜີໂດຍ Adrien-Marie Legendre ໃນຕົ້ນສະຕະວັດທີ 19 ແລະ ຕໍ່ມາໄດ້ຖືກພັດທະນາຕື່ມອີກໂດຍ Carl Friedrich Gauss.
ຄວາມເຂົ້າໃຈພື້ນຖານ
ໂດຍທົ່ວໄປ, ວິທີການກຳລັງສອງນ້ອຍທີ່ສຸດມີຈຸດປະສົງເພື່ອຊອກຫາເສັ້ນການຖົດຖອຍທີ່ເໝາະສົມທີ່ສຸດສຳລັບຊຸດຂໍ້ມູນໂດຍການຫຼຸດຜົນບວກຂອງກຳລັງສອງຂອງຄ່າຄົງທີ່, ຫຼື ຄວາມຜິດພາດໃນການຄາດຄະເນ. ຄ່າຄົງທີ່ແມ່ນຄວາມແຕກຕ່າງລະຫວ່າງຄ່າທີ່ສັງເກດໄດ້ ແລະ ຄ່າທີ່ຄາດຄະເນໄວ້.
ຖ້າພວກເຮົາມີຊຸດຂໍ້ມູນທີ່ປະກອບດ້ວຍຄູ່ຂອງການສັງເກດການ \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), ຫຼັງຈາກນັ້ນເປົ້າໝາຍຂອງພວກເຮົາແມ່ນເພື່ອຊອກຫາເສັ້ນ \(y = mx + b\) ທີ່ຫຼຸດຜ່ອນຜົນບວກຂອງຄວາມຜິດພາດກຳລັງສອງ sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
ວິທີການນີ້ສາມາດນຳໃຊ້ໄດ້ກັບທັງການຖົດຖອຍເສັ້ນຊື່ແບບງ່າຍໆ ແລະ ການຖົດຖອຍເສັ້ນຊື່ຫຼາຍຕົວ. ໃນ ການຖົດຖອຍເສັ້ນຊື່ແບບງ່າຍໆ, ເຮົາມີພຽງຕົວແປເອກະລາດດຽວ (x), ໃນຂະນະທີ່ ການຖົດຖອຍເສັ້ນຊື່ຫຼາຍຕົວກ່ຽວຂ້ອງກັບຕົວແປເອກະລາດຫຼາຍກວ່າໜຶ່ງຕົວ.
ການຖົດຖອຍເສັ້ນຊື່ແບບງ່າຍໆ
ໃຫ້ເລີ່ມຕົ້ນດ້ວຍການຖົດຖອຍເສັ້ນຊື່ແບບງ່າຍໆ. ສົມມຸດວ່າພວກເຮົາມີຊຸດຂໍ້ມູນ \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). ຮູບແບບການຖົດຖອຍເສັ້ນຊື່ແບບງ່າຍໆທີ່ພວກເຮົາຕ້ອງການແມ່ນ:
\[ y = mx + b + epsilon \]
ບ່ອນທີ່ \( m \) ແມ່ນຄວາມຊັນ, \( b \) ແມ່ນຈຸດຕັດ, ແລະ \( \epsilon \) ແມ່ນຄວາມຜິດພາດແບບສຸ່ມ.
ໂດຍການໃຊ້ວິທີການກຳລັງສອງນ້ອຍທີ່ສຸດ, ພວກເຮົາສາມາດຊອກຫາການປະມານຄ່າຂອງພາລາມິເຕີ \(m\) ແລະ \(b\) ໂດຍການຫຼຸດຜ່ອນຟັງຊັນຄວາມຜິດພາດກຳລັງສອງ:
\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
ເພື່ອຫຼຸດຜ່ອນ \(S(m, b)\), ເຮົາຊອກຫາອະນຸພັນບາງສ່ວນຂອງ \(S\) ທຽບກັບ \(m\) ແລະ \(b\), ແລະ ຈາກນັ້ນແກ້ສົມຜົນນີ້ສຳລັບ \(m\) ແລະ \(b\):
\[ \begin{aligned}
\frac{\ສ່ວນ S ໄປຫາສ່ວນ m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]
ຫຼັງຈາກການເຮັດໃຫ້ງ່າຍດາຍແລ້ວ, ພວກເຮົາໄດ້ຮັບສົມຜົນປົກກະຕິສອງຢ່າງຕໍ່ໄປນີ້:
\[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]
ໂດຍການແກ້ໄຂລະບົບສົມຜົນຂ້າງເທິງ, ພວກເຮົາສາມາດຊອກຫາຄ່າຂອງ \( m \) ແລະ \( b \) ທີ່ຫຼຸດຜ່ອນຄວາມຜິດພາດກຳລັງສອງ.
ການຖົດຖອຍເສັ້ນຊື່ຫຼາຍອັນ
ໃນການວິເຄາະການຖົດຖອຍເສັ້ນຊື່ຫຼາຍຕົວ, ພວກເຮົາປະເຊີນກັບສະຖານະການທີ່ພວກເຮົາມີຕົວແປເອກະລາດຫຼາຍກວ່າໜຶ່ງຕົວ. ສົມມຸດວ່າພວກເຮົາມີຂໍ້ມູນໃນຮູບແບບຂອງ tuple \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). ຮູບແບບການຖົດຖອຍທີ່ພວກເຮົາໃຊ້ແມ່ນ:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
ສົມຜົນນີ້ສາມາດຂຽນໃນຮູບແບບແມັດຕຣິກໄດ້ດັ່ງນີ້:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
ຢູ່ໃສ:
- \( \mathbf{y} \) ເປັນເວັກເຕີຖັນຂອງຄ່າ y ທີ່ສັງເກດໄດ້.
- \( \mathbf{X} \) ເປັນມາຕຣິກຂອງຄ່າ x ທີ່ສັງເກດໄດ້ (ລວມທັງຖັນທີ 1 ສຳລັບຈຸດຕັດ).
- \( \mathbf{b} \) ເປັນເວັກເຕີຖັນຂອງພາລາມິເຕີ (ລວມທັງ \( b_0 \)).
ເປົ້າໝາຍຂອງວິທີການກຳລັງສອງນ້ອຍທີ່ສຸດແມ່ນເພື່ອຫຼຸດຜ່ອນຟັງຊັນຄວາມຜິດພາດກຳລັງສອງຕໍ່ໄປນີ້:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
ເພື່ອຫຼຸດຜ່ອນຟັງຊັນນີ້ໃຫ້ໜ້ອຍທີ່ສຸດ, ເຮົາເອົາອະນຸພັນບາງສ່ວນຂອງ S ທຽບກັບ \( \mathbf{b} \) ແລະ ຕັ້ງມັນເປັນສູນ. ສິ່ງນີ້ໃຫ້ສົມຜົນປົກກະຕິສຳລັບການຖົດຖອຍເສັ້ນຊື່ຫຼາຍຕົວ:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
ໂດຍການແກ້ໄຂລະບົບສົມຜົນຂ້າງເທິງ, ພວກເຮົາສາມາດໄດ້ຮັບຄ່າປະມານຂອງພາລາມິເຕີ \( \mathbf{b} \):
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Keuntungan ແລະ Keterbatasan
ວິທີການກຳລັງສອງນ້ອຍທີ່ສຸດມີຂໍ້ດີຫຼາຍຢ່າງ. ມັນເປັນວິທີການທີ່ມີປະສິດທິພາບ ແລະ ງ່າຍດາຍຫຼາຍໃນການໃຊ້. ມັນສະເໜີວິທີແກ້ໄຂທີ່ເປັນເອກະລັກຖ້າ \( \mathbf{X}^T \mathbf{X} \) ສາມາດປີ້ນກັບກັນໄດ້, ເຮັດໃຫ້ມັນໜ້າເຊື່ອຖືໄດ້ສຳລັບການນຳໃຊ້ຕົວຈິງຫຼາຍຢ່າງ.
ເຖິງຢ່າງໃດກໍ່ຕາມ, ວິທີການກຳລັງສອງນ້ອຍທີ່ສຸດກໍ່ມີຂໍ້ຈຳກັດເຊັ່ນກັນ. ມັນມີຄວາມອ່ອນໄຫວຫຼາຍຕໍ່ກັບຄ່າຜິດປົກກະຕິເພາະວ່າຄວາມຜິດພາດກຳລັງສອງເນັ້ນໃສ່ຄວາມແຕກຕ່າງຂະໜາດໃຫຍ່ຫຼາຍກວ່າຄວາມແຕກຕ່າງຂະໜາດນ້ອຍ. ຍິ່ງໄປກວ່ານັ້ນ, ສົມມຸດຕິຖານແບບຄລາສສິກທີ່ວ່າຄວາມຜິດພາດມີການແຈກຢາຍປົກກະຕິທີ່ມີຄ່າສະເລ່ຍສູນ ແລະ ຄວາມແปรປ່ວນຄົງທີ່ຕ້ອງໄດ້ຮັບການຕອບສະໜອງເພື່ອໃຫ້ໄດ້ຜົນດີ.
ການນຳໃຊ້ຕົວຈິງ
ວິທີການກຳລັງສອງໜ້ອຍທີ່ສຸດມັກຖືກນຳໃຊ້ເລື້ອຍໆໃນການວິເຄາະແນວໂນ້ມຂໍ້ມູນ, ການຄາດຄະເນ ແລະ ການຮຽນຮູ້ຂອງເຄື່ອງຈັກເພື່ອສ້າງແບບຈຳລອງການຄາດຄະເນ. ໃນອຸດສາຫະກຳການເງິນ, ວິທີການກຳລັງສອງໜ້ອຍທີ່ສຸດແມ່ນໃຊ້ເພື່ອຄາດຄະເນລາຄາຫຸ້ນ ຫຼື ປະສິດທິພາບຂອງຕະຫຼາດ. ໃນການແພດ, ມັນຖືກນໍາໃຊ້ເພື່ອສ້າງແບບຈຳລອງຄວາມສໍາພັນລະຫວ່າງປະລິມານຢາ ແລະ ການຕອບສະໜອງຂອງຄົນເຈັບ. ໃນວິທະຍາສາດສັງຄົມ, ມັນຊ່ວຍໃຫ້ເຂົ້າໃຈຄວາມສໍາພັນລະຫວ່າງຕົວແປຕ່າງໆເຊັ່ນ: ການສຶກສາ ແລະ ລາຍໄດ້.
ສະຫຼຸບ
ວິທີການຄິດໄລ່ຂະໜາດນ້ອຍທີ່ສຸດແມ່ນໜຶ່ງໃນເຕັກນິກພື້ນຖານໃນສະຖິຕິ ແລະ ການວິເຄາະຂໍ້ມູນ. ໃນຂະນະທີ່ແນວຄວາມຄິດແມ່ນງ່າຍດາຍ, ວິທີການນີ້ໃຫ້ພະລັງທີ່ສຳຄັນໃນການສ້າງແບບຈຳລອງ ແລະ ຄວາມເຂົ້າໃຈກ່ຽວກັບຄວາມສຳພັນລະຫວ່າງຕົວແປຕ່າງໆ. ດ້ວຍການນຳໃຊ້ຢ່າງກວ້າງຂວາງໃນຫຼາຍຂົງເຂດ, ຄວາມເຂົ້າໃຈທີ່ໜັກແໜ້ນກ່ຽວກັບວິທີການນີ້ແມ່ນມີຄຸນຄ່າຫຼາຍສຳລັບທັງຜູ້ຊ່ຽວຊານ ແລະ ນັກຄົ້ນຄວ້າ. ໃນອະນາຄົດ, ດ້ວຍປະລິມານຂໍ້ມູນທີ່ເພີ່ມຂຶ້ນທີ່ພົບໃນຍຸກຂໍ້ມູນຂະໜາດໃຫຍ່, ການປັບຕົວ ແລະ ການນຳໃຊ້ວິທີການແບບຄລາສສິກເຊັ່ນ: ການຄິດໄລ່ຂະໜາດນ້ອຍທີ່ສຸດຈະມີຄວາມກ່ຽວຂ້ອງເພີ່ມຂຶ້ນເລື້ອຍໆ.
