สูตรการถดถอยโลจิสติก

สูตรการถดถอยโลจิสติกส์

การถดถอยโลจิสติกเป็นหนึ่งในวิธีการที่ได้รับความนิยมมากที่สุดในสถิติและวิทยาศาสตร์ข้อมูลสำหรับการสร้างแบบจำลองความสัมพันธ์ระหว่างตัวแปรอิสระหลายตัว (ตัวทำนาย) และตัวแปรตามเชิงหมวดหมู่ โดยเฉพาะอย่างยิ่งตัวแปรไบนารี (เช่น ใช่/ไม่ใช่ สำเร็จ/ล้มเหลว ป่วย/สุขภาพดี) แตกต่างจากการถดถอยเชิงเส้นซึ่งให้ค่าต่อเนื่อง การถดถอยโลจิสติกได้รับการออกแบบมาเพื่อประมาณความน่าจะเป็นของเหตุการณ์ ดังนั้นผลลัพธ์สุดท้ายจึงอยู่ในช่วง 0 ถึง 1 ในบทความนี้ เราจะกล่าวถึงสูตรการถดถอยโลจิสติก ความหมายของแต่ละองค์ประกอบ และวิธีการตีความผลลัพธ์

เหตุใดจึงจำเป็นต้องใช้การวิเคราะห์การถดถอยโลจิสติกส์?

หากเราใช้การถดถอยเชิงเส้นเพื่อทำนายความน่าจะเป็น แบบจำลองอาจสร้างค่าที่ต่ำกว่า 0 หรือสูงกว่า 1 ซึ่งไม่สมเหตุสมผลสำหรับความน่าจะเป็น การถดถอยโลจิสติกส์แก้ไขปัญหานี้โดยใช้ฟังก์ชันที่ไม่เป็นเชิงเส้นซึ่งแปลงผลลัพธ์ที่คำนวณได้ (ซึ่งอาจเป็นค่าใดก็ได้) ไปเป็นค่าความน่าจะเป็นระหว่าง 0 ถึง 1 ฟังก์ชันที่ใช้กันทั่วไปมากที่สุดคือฟังก์ชันโลจิสติกส์หรือฟังก์ชันซิกมอยด์

ตัวอย่างเช่น สมมติว่าเราต้องการทำนายว่าลูกค้าจะเลิกใช้บริการหรือไม่ โดยพิจารณาจากอายุ ระยะเวลาการสมัครสมาชิก และความถี่ในการใช้งาน ผลลัพธ์ที่ทำนายได้มีเพียงสองความเป็นไปได้ คือ เลิกใช้บริการ (1) หรือไม่เลิกใช้บริการ (0) การถดถอยโลจิสติกส์เหมาะสมกับสถานการณ์ประเภทนี้เป็นอย่างดี

สูตรพื้นฐานสำหรับการถดถอยโลจิสติกส์

สาระสำคัญของการถดถอยโลจิสติกคือการสร้างแบบจำลองความน่าจะเป็น \( p \) ที่ \( Y = 1 \) (เหตุการณ์เกิดขึ้น) โดยกำหนดค่าของตัวแปรทำนาย \( X \)

แบบจำลองการถดถอยโลจิสติกส์มักเขียนในสองรูปแบบสำคัญดังนี้:

1) รูปแบบความน่าจะเป็น (ซิกมอยด์)

\[
p = P(Y=1 \mid X) = \frac{1}{1 + e^{-z}}
\]

Dengan

\[
z = β₀ + β₁ X₁ + β₂ X₂ + ... + βᵏ Xᵏ
\]

คีเตรังกัน:
– \( p \) คือความน่าจะเป็นของเหตุการณ์ (เช่น: churn = 1)
– \( e \) คือจำนวนของออยเลอร์ (ประมาณ 2,71828)
– \( z \) คือการรวมกันเชิงเส้นของตัวทำนาย
– \( \beta_0 \) คือจุดตัดแกน (ค่าคงที่)
– \( \beta_1, \beta_2, \ldots, \beta_k \) คือสัมประสิทธิ์การถดถอย
– \( X_1, X_2, \ldots, X_k \) เป็นตัวแปรอิสระ

ฟังก์ชันซิกมอยด์ช่วยให้มั่นใจได้ว่าไม่ว่าค่าของ z จะเป็นเท่าใด ค่าของ p จะยังคงอยู่ระหว่าง 0 และ 1

2) รูปแบบ Logit (Log Odds)

รูปแบบที่สำคัญอีกรูปแบบหนึ่งคือรูปแบบโลจิต ซึ่งก็คือลอการิทึมของอัตราต่อรอง:

\[
logit(p) = ln(p}{1-p) = β₀ + β₁ X₁ + β₂ X₂ + ... + βᵏ Xᵏ
\]

คีเตรังกัน:
– \( \frac{p}{1-p} \) เรียกว่า อัตราต่อรอง (โอกาสสัมพัทธ์)
– \( \ln \) คือลอการิทึมธรรมชาติ

รูปแบบของ logit อธิบายว่าการถดถอยโลจิสติกส์จำลองค่า log odds เป็นฟังก์ชันเชิงเส้นของตัวแปรทำนาย ซึ่งทำให้การตีความค่าสัมประสิทธิ์ชัดเจนยิ่งขึ้น โดยเฉพาะในบริบทของอัตราส่วน odds

ทำความเข้าใจเกี่ยวกับอัตราต่อรองและอัตราส่วนอัตราต่อรอง

เพื่อให้เข้าใจสูตรการถดถอยโลจิสติกอย่างแท้จริง เราจำเป็นต้องแยกแยะความแตกต่างระหว่างความน่าจะเป็นและอัตราต่อรอง

– ความน่าจะเป็น (p): โอกาสที่เหตุการณ์จะเกิดขึ้น (0 ถึง 1)
– อัตราต่อรอง: การเปรียบเทียบความน่าจะเป็นที่เหตุการณ์หนึ่งจะเกิดขึ้นกับความน่าจะเป็นที่เหตุการณ์นั้นจะไม่เกิดขึ้น:

\[
อัตราต่อรอง = (p/1-p)
\]

ตัวอย่าง: ถ้า \( p = 0{,}8 \), แล้ว:

\[
อัตราต่อรอง = 0,8 / 0,2 = 4
\]

หมายความว่าเหตุการณ์นี้มีโอกาสเกิดขึ้นมากกว่าไม่เกิดขึ้นถึง 4 เท่า

ในการวิเคราะห์การถดถอยโลจิสติก ค่าสัมประสิทธิ์ \( \beta \) มักถูกตีความผ่านอัตราส่วนความน่าจะเป็น:

\[
หรือ = e^{\beta}
\]

– ถ้า β > 0 แล้ว eβ > 1: ตัวทำนายจะเพิ่มโอกาสของการเกิดเหตุการณ์
– ถ้า β < 0 แล้ว eβ < 1: ตัวแปรทำนายจะลดโอกาสของการเกิดเหตุการณ์ – ถ้า β = 0 แล้ว eβ = 1: ไม่มีผลต่อโอกาส ตัวอย่างเช่น ถ้า β1 = 0.7 แล้ว eβ⁰⁷ ≈ 2,01 หมายความว่าทุกๆ การเพิ่มขึ้น 1 หน่วยของ X1 จะเพิ่มโอกาสของการเกิดเหตุการณ์ประมาณ 2.01 เท่า (โดยสมมติว่าตัวแปรอื่นๆ คงที่) ตัวอย่างของแบบจำลองการถดถอยโลจิสติกอย่างง่าย สมมติว่าเรามีตัวแปรทำนายเพียงตัวเดียวคือ X เช่น จำนวนชั่วโมงเรียนต่อสัปดาห์ เพื่อทำนายการสอบผ่าน (ผ่าน = 1, ไม่ผ่าน = 0) แบบจำลองคือ:

\[ \text{logit}(p) = \beta_0 + \beta_1 X \] ถ้าผลการประมาณคือ: - \( \beta_0 = -4 \) - \( \beta_1 = 0{,}8 \) แล้ว: \[ z = -4 + 0{,}8X \] \[ p = \frac{1}{1 + e^{-(-4 + 0{,}8X)}} = \frac{1}{1 + e^{4 - 0{,}8X}} \] ถ้าเวลาเรียน \( X = 6 \) ชั่วโมง: \[ z = -4 + 0{,}8(6) = 0{,}8 \] \[ p = \frac{1}{1 + e^{-0{,}8}} \approx 0{,}69 \] การตีความ: ด้วยเวลาเรียน 6 ชั่วโมงต่อสัปดาห์ ความน่าจะเป็นที่จะสอบผ่านด้วยคะแนนประมาณ 69% การประมาณค่าสัมประสิทธิ์: ทำไมจึงไม่ใช้วิธี Least Squares? ในการถดถอยเชิงเส้น สัมประสิทธิ์มักคำนวณโดยใช้วิธี Least Squares อย่างไรก็ตาม ในการถดถอยโลจิสติก ความสัมพันธ์ระหว่างตัวแปรทำนายและความน่าจะเป็นนั้นไม่ใช่เชิงเส้น ดังนั้นวิธี Least Squares จึงไม่เหมาะสม การถดถอยโลจิสติกโดยทั่วไปจะใช้การประมาณค่าความน่าจะเป็นสูงสุด (Maximum Likelihood Estimation: MLE) เพื่อหาค่าสัมประสิทธิ์ β ที่ทำให้ความน่าจะเป็นของข้อมูลที่สังเกตได้สูงสุด โดยสรุปแล้ว ความน่าจะเป็นสำหรับค่าสังเกตแบบไบนารี \( y_i \in \{0,1\} \) และค่าทำนาย \( p_i \) คือ: \[ L(\beta) = \prod_{i=1}^{n} p_i^{y_i}(1-p_i)^{(1-y_i)} \] จากนั้นมักจะแปลงเป็นค่าลอการิทึมความน่าจะเป็นเพื่อให้คำนวณได้ง่ายขึ้น: \[ \ell(\beta) = \sum_{i=1}^{n} \left[ y_i \ln(p_i) + (1-y_i)\ln(1-p_i) \right] \] ค่าของ \( \beta \) จะถูกเลือกเพื่อให้ \( \ell(\beta) \) มีค่าสูงสุด วิธีการเชิงตัวเลข เช่น วิธี Newton-Raphson หรือการไล่ระดับความชัน มักถูกใช้โดยซอฟต์แวร์ทางสถิติ ข้อดีและข้อจำกัดของการวิเคราะห์การถดถอยโลจิสติก ข้อดี 1. ผลลัพธ์อยู่ในรูปของความน่าจะเป็น จึงง่ายต่อการนำไปใช้ในการตัดสินใจ 2. การตีความค่าสัมประสิทธิ์มีความชัดเจนผ่านอัตราส่วนความน่าจะเป็น 3. เหมาะสำหรับปัญหาการจำแนกแบบไบนารี และสามารถขยายไปสู่แบบหลายตัวเลือก/ลำดับได้ ข้อจำกัด 1. สมมติความสัมพันธ์เชิงเส้นระหว่างตัวทำนายและลอการิทึมของอัตราส่วนความน่าจะเป็น ไม่ใช่ความสัมพันธ์โดยตรงกับความน่าจะเป็น 2. อาจมีปัญหาหากมีภาวะความสัมพันธ์ร่วมกันหลายตัวแปร หรือข้อมูลไม่สมดุลอย่างมาก 3. สำหรับรูปแบบความสัมพันธ์ที่ซับซ้อนมาก วิธีการที่ไม่เป็นเชิงเส้นอื่นๆ (เช่น ป่าสุ่ม หรือโครงข่ายประสาทเทียม) อาจดีกว่า สรุป สูตรการถดถอยโลจิสติกโดยพื้นฐานแล้วเป็นการรวมเชิงเส้นของตัวแปรทำนายเข้ากับฟังก์ชันซิกมอยด์เพื่อสร้างความน่าจะเป็น รูปแบบที่พบได้บ่อยที่สุดคือ: \[ p = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k)}} \] หรือในรูปแบบโลจิต: \[ \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k \] โดยการทำความเข้าใจสูตรทั้งสองรูปแบบนี้ เราสามารถสร้างแบบจำลองการทำนายสำหรับปัญหาการจำแนกแบบไบนารีต่างๆ ในขณะที่ตีความอิทธิพลของตัวแปรผ่านอัตราส่วนความน่าจะเป็น \( e^{\beta} \) การถดถอยโลจิสติกยังคงเป็นพื้นฐานที่สำคัญในการวิเคราะห์ข้อมูลเนื่องจากมีความเรียบง่าย มีประสิทธิภาพ และตีความได้ง่าย และมักเป็นขั้นตอนแรกก่อนที่จะพยายามสร้างแบบจำลองที่ซับซ้อนมากขึ้น ถ้าคุณต้องการ ฉันสามารถเพิ่มตัวอย่างการคำนวณด้วยข้อมูลขนาดเล็ก (ตาราง) หรือตัวอย่างการใช้งานการถดถอยโลจิสติกใน Python/R พร้อมกับการตีความผลลัพธ์ได้