วิธีกำลังสองน้อยที่สุด

วิธีกำลังสองน้อยที่สุด: แนวทางทางคณิตศาสตร์ในการประมาณค่า

เพนดาฮูหวน

วิธีการกำลังสองน้อยที่สุด (Least Squares Method) เป็นเทคนิคทางสถิติที่ใช้ในการประมาณค่าพารามิเตอร์ในแบบจำลองการถดถอย โดยการลดผลรวมของกำลังสองของความคลาดเคลื่อนระหว่างค่าจริงและค่าที่ทำนายโดยแบบจำลอง วิธีนี้เป็นที่นิยมและใช้กันอย่างแพร่หลายในสาขาต่างๆ เช่น เศรษฐศาสตร์ วิศวกรรมศาสตร์ ชีววิทยา และสังคมศาสตร์ แนวคิดของวิธีการกำลังสองน้อยที่สุดได้รับการเสนอครั้งแรกโดย Adrien-Marie Legendre ในช่วงต้นศตวรรษที่ 19 และได้รับการพัฒนาเพิ่มเติมในภายหลังโดย Carl Friedrich Gauss

ความเข้าใจพื้นฐาน

โดยทั่วไป วิธีการกำลังสองน้อยที่สุดมีเป้าหมายเพื่อค้นหาเส้นถดถอยที่เหมาะสมที่สุดสำหรับชุดข้อมูล โดยการลดผลรวมของกำลังสองของค่าความคลาดเคลื่อน หรือข้อผิดพลาดในการทำนาย ค่าความคลาดเคลื่อนคือความแตกต่างระหว่างค่าที่สังเกตได้และค่าที่ทำนายได้

ถ้าเรามีชุดข้อมูลที่ประกอบด้วยคู่ของการสังเกต \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\) แล้วเป้าหมายของเราคือการหาเส้นตรง \(y = mx + b\) ที่ทำให้ผลรวมของกำลังสองของความคลาดเคลื่อนมีค่าน้อยที่สุด sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).

วิธีนี้สามารถนำไปใช้ได้ทั้งกับการถดถอยเชิงเส้นแบบง่ายและการถดถอยเชิงเส้นแบบหลายตัวแปร ในการถดถอยเชิงเส้นแบบง่าย เรามีตัวแปรอิสระเพียงตัวเดียว (x) ในขณะที่การถดถอยเชิงเส้นแบบหลายตัวแปรเกี่ยวข้องกับตัวแปรอิสระมากกว่าหนึ่งตัว

การถดถอยเชิงเส้นอย่างง่าย

มาเริ่มกันที่การถดถอยเชิงเส้นอย่างง่ายกันก่อน สมมติว่าเรามีชุดข้อมูล \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)) แบบจำลองการถดถอยเชิงเส้นอย่างง่ายที่เราต้องการหาค่าที่เหมาะสมคือ:

[ y = mx + b + ε ]

โดยที่ \( m \) คือความชัน, \( b \) คือจุดตัดแกน และ \( \epsilon \) คือค่าความคลาดเคลื่อนแบบสุ่ม

โดยใช้วิธีการกำลังสองน้อยที่สุด เราสามารถหาค่าประมาณของพารามิเตอร์ \( m \) และ \( b \) ได้โดยการลดฟังก์ชันความคลาดเคลื่อนกำลังสองให้เหลือน้อยที่สุด:

[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]

เพื่อลดค่า \( S(m, b) \) ให้เหลือน้อยที่สุด เราจะหาอนุพันธ์ย่อยของ \( S \) เทียบกับ \( m \) และ \( b \) จากนั้นจึงแก้สมการนี้เพื่อหาค่า \( m \) และ \( b \):

"[ \begin{aligned}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]

หลังจากลดรูปแล้ว เราจะได้สมการปกติสองสมการดังต่อไปนี้:

"[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]

โดยการแก้ระบบสมการข้างต้น เราสามารถหาค่าของ \( m \) และ \( b \) ที่ทำให้ค่าความคลาดเคลื่อนกำลังสองมีค่าน้อยที่สุดได้

การถดถอยเชิงเส้นหลายตัวแปร

ในการวิเคราะห์การถดถอยเชิงเส้นหลายตัวแปร เราจะพบสถานการณ์ที่มีตัวแปรอิสระมากกว่าหนึ่งตัว สมมติว่าเรามีข้อมูลในรูปแบบของทูเปิล \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\) แบบจำลองการถดถอยที่เราใช้คือ:

[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + ε ]

สมการนี้สามารถเขียนในรูปแบบเมทริกซ์ได้ดังนี้:

\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\เอปไซลอน} \]

ที่ไหน:
– \( \mathbf{y} \) คือเวกเตอร์คอลัมน์ของค่า y ที่สังเกตได้
– \( \mathbf{X} \) คือเมทริกซ์ของค่า x ที่สังเกตได้ (รวมถึงคอลัมน์ที่ 1 สำหรับค่าคงที่)
– \( \mathbf{b} \) คือเวกเตอร์คอลัมน์ของพารามิเตอร์ (รวมถึง \( b_0 \))

เป้าหมายของวิธีการกำลังสองน้อยที่สุดคือการลดฟังก์ชันความคลาดเคลื่อนกำลังสองต่อไปนี้ให้เหลือน้อยที่สุด:

\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]

เพื่อลดฟังก์ชันนี้ให้เหลือน้อยที่สุด เราจึงหาอนุพันธ์ย่อยของ S เทียบกับ \( \mathbf{b} \) แล้วกำหนดให้เป็นศูนย์ ซึ่งจะได้สมการปกติสำหรับการถดถอยเชิงเส้นหลายตัวแปร:

[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]

โดยการแก้ระบบสมการข้างต้น เราสามารถประมาณค่าพารามิเตอร์ \( \mathbf{b} \) ได้ดังนี้:

[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]

ความปลอดภัยและอาชีวอนามัย

วิธีการกำลังสองน้อยที่สุดมีข้อดีหลายประการ เป็นวิธีที่มีประสิทธิภาพและใช้งานง่ายมาก และให้คำตอบที่ไม่ซ้ำกันหาก \( \mathbf{X}^T \mathbf{X} \) สามารถผกผันได้ ทำให้มีความน่าเชื่อถือสำหรับการใช้งานในทางปฏิบัติหลายอย่าง

อย่างไรก็ตาม วิธีการกำลังสองน้อยที่สุดก็มีข้อจำกัดเช่นกัน มันไวต่อค่าผิดปกติมาก เพราะค่าความคลาดเคลื่อนกำลังสองจะเน้นความแตกต่างขนาดใหญ่มากกว่าความแตกต่างขนาดเล็ก นอกจากนี้ ต้องเป็นไปตามข้อสมมติฐานดั้งเดิมที่ว่าค่าความคลาดเคลื่อนมีการกระจายแบบปกติ โดยมีค่าเฉลี่ยเป็นศูนย์และความแปรปรวนคงที่ เพื่อให้ได้ผลลัพธ์ที่ดี

การประยุกต์ใช้ในทางปฏิบัติ

วิธีการกำลังสองน้อยที่สุด (Least Squares Method) ถูกนำมาใช้บ่อยครั้งในการวิเคราะห์แนวโน้มข้อมูล การพยากรณ์ และการเรียนรู้ของเครื่องจักร เพื่อสร้างแบบจำลองการทำนาย ในอุตสาหกรรมการเงิน วิธีการกำลังสองน้อยที่สุดถูกใช้เพื่อทำนายราคาหุ้นหรือผลการดำเนินงานของตลาด ในทางการแพทย์ ใช้เพื่อสร้างแบบจำลองความสัมพันธ์ระหว่างขนาดยาและการตอบสนองของผู้ป่วย ในสังคมศาสตร์ ช่วยให้เข้าใจความสัมพันธ์ระหว่างตัวแปรต่างๆ เช่น การศึกษาและรายได้

บทสรุป

วิธีการกำลังสองน้อยที่สุดเป็นหนึ่งในเทคนิคพื้นฐานในสถิติและการวิเคราะห์ข้อมูล แม้จะมีหลักการที่เรียบง่าย แต่วิธีนี้มีประสิทธิภาพอย่างมากในการสร้างแบบจำลองและทำความเข้าใจความสัมพันธ์ระหว่างตัวแปรต่างๆ ด้วยการประยุกต์ใช้ที่แพร่หลายในหลากหลายสาขา ความเข้าใจอย่างถ่องแท้ในวิธีนี้จึงมีคุณค่าอย่างยิ่งสำหรับผู้เชี่ยวชาญและนักวิจัย ในอนาคต ด้วยปริมาณข้อมูลที่เพิ่มขึ้นในยุคบิ๊กดาต้า การปรับใช้และการประยุกต์ใช้วิธีการแบบดั้งเดิม เช่น วิธีการกำลังสองน้อยที่สุด จะยิ่งมีความสำคัญมากขึ้นเรื่อยๆ