Логистикалық регрессия формуласы

Логистикалық регрессия формуласы

Логистикалық регрессия - статистика мен деректер ғылымында бірқатар тәуелсіз айнымалылар (болжамдаушылар) мен категориялық тәуелді айнымалы, әсіресе екілік (мысалы, иә/жоқ, сәттілік/сәтсіздік, ауру/сау) арасындағы байланысты модельдеудің ең танымал әдістерінің бірі. Үздіксіз мәндерді шығаратын сызықтық регрессиядан айырмашылығы, логистикалық регрессия оқиғаның ықтималдығын бағалауға арналған, сондықтан соңғы нәтиже 0-ден 1-ге дейінгі диапазонда болады. Бұл мақалада біз логистикалық регрессия формуласын, әрбір компоненттің мағынасын және оны қалай түсіндіру керектігін талқылаймыз.

Неліктен логистикалық регрессия қажет?

Егер ықтималдықтарды болжау үшін сызықтық регрессияны қолдансақ, модель 0-ден төмен немесе 1-ден жоғары мәндерді шығара алады, бұл ықтималдық үшін айқын негізсіз. Логистикалық регрессия бұл мәселені есептелген нәтижені (кез келген мән болуы мүмкін) 0 мен 1 арасындағы ықтималдық мәніне сәйкестендіретін сызықтық емес функцияны пайдалану арқылы шешеді. Ең жиі қолданылатын функция - логистикалық немесе сигмоидты функция.

Мысалы, тұтынушының жасына, жазылым ұзақтығына және пайдалану жиілігіне байланысты оның кететінін болжағымыз келеді делік. Болжамды нәтиженің тек екі мүмкіндігі бар: кетіру (1) немесе кетірмеу (0). Логистикалық регрессия мұндай жағдайға өте қолайлы.

Логистикалық регрессияның негізгі формуласы

Логистикалық регрессияның мәні болжамды айнымалының мәні берілгенде, оқиғаның орын алу ықтималдығын модельдеуде, яғни (X) болжамды айнымалының мәнін ескере отырып.

Логистикалық регрессиялық модельдер әдетте екі маңызды формада жазылады:

1) Ықтималдық формасы (Сигмоид)

\[
p = P(Y=1 \mid X) = \frac{1}{1 + e^{-z}}
\]

dengan

\[
z = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]

Ақпарат:
– \( p \) – оқиғаның ықтималдығы (мысалы: ығысу = 1).
– \( e \) – Эйлер саны (шамамен 2,71828).
– \( z \) – предикторлардың сызықтық комбинациясы.
– \( \beta_0 \) – қиылысу нүктесі (тұрақты).
– \( \beta_1, \beta_2, \ldots, \beta_k \) регрессия коэффициенттері болып табылады.
– \( X_1, X_2, \ldots, X_k \) тәуелсіз айнымалылар.

Сигмоидты функция \(z\) мәні қандай болса да, \(p\) мәні 0 мен 1 аралығында болып қалатынын қамтамасыз етеді.

2) Логит формасы (Лог коэффициенттері)

Тағы бір өте маңызды форма - логит формасы, ол коэффициенттердің логарифмі:

\[
\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]

Ақпарат:
– \( \frac{p}{1-p} \) коэффициенті (салыстырмалы мүмкіндік) деп аталады.
– \( \ln \) – натурал логарифм.

Логит формасы логистикалық регрессияның логарифмдік коэффициенттерді предикторлардың сызықтық функциясы ретінде модельдейтінін түсіндіреді. Бұл коэффициенттерді, әсіресе коэффициенттер қатынастары контексінде, түсіндіруді айқынырақ етеді.

Мүмкіндіктер мен ықтималдық коэффициенттерін түсіну

Логистикалық регрессия формуласын шынымен түсіну үшін ықтималдық пен коэффициентті ажырата білуіміз керек.

– Ықтималдық \( p \): оқиғаның орын алу мүмкіндігі (0-ден 1-ге дейін).
– Ықтималдық: бір нәрсенің болу ықтималдығын болмау ықтималдығымен салыстыру:

\[
\text{коэффициенттер} = \frac{p}{1-p}
\]

Мысал: егер \(p = 0{,}8\) болса, онда:

\[
\text{коэффициенттер} = \frac{0{,}8}{0{,}2} = 4
\]

Бұл оқиғаның орын алу ықтималдығы болмағаннан 4 есе жоғары екенін білдіреді.

Логистикалық регрессияда \( \бета \) коэффициенті көбінесе ықтималдық коэффициенті арқылы түсіндіріледі:

\[
\text{OR} = e^{\beta}
\]

– Егер \( \beta > 0 \) болса, онда \( e^{\beta} > 1 \): болжаушы оқиғаның ықтималдығын арттырады.
– Егер \(\beta < 0 \) болса, онда \(e^{\beta} < 1 \): болжаушы оқиғаның ықтималдығын азайтады. - Егер \(\beta = 0 \) болса, онда \(e^{\beta} = 1 \): ықтималдыққа ешқандай әсер етпейді. Мысалы, егер \(\beta_1 = 0{,}7 \) болса, онда: \[e^{0{,}7} \approx 2{,}01 \] Бұл \(X_1 \) әрбір 1 бірлік артуы оқиғаның ықтималдығын шамамен 2,01 есеге көбейтеді дегенді білдіреді (басқа айнымалылар тұрақты болып қалады деп есептесек). Қарапайым логистикалық регрессия моделінің мысалы Емтиханнан өтуді болжау үшін бізде тек бір болжаушы айнымалы \(X \) бар делік, мысалы, аптасына оқу сағаттарының саны (өту = 1, құлау = 0). Модель:

\[ \text{logit}(p) = \beta_0 + \beta_1 X \] Егер болжамды нәтиже: - \( \beta_0 = -4 \) - \( \beta_1 = 0{,}8 \) болса, онда: \[z = -4 + 0{,}8X \] \[p = \frac{1}{1 + e^{-(-4 + 0{,}8X)}} = \frac{1}{1 + e^{4 - 0{,}8X}} \] Егер \( X = 6 \) оқу сағаты болса: \[z = -4 + 0{,}8(6) = 0{,}8 \] \[p = \frac{1}{1 + e^{-0{,}8}} \approx 0{,}69 \] Түсіндірме: аптасына 6 сағат оқумен ықтималдық шамамен 69% баллмен өтті. Коэффициенттік бағалау: Неліктен ең кіші квадраттар әдісі қолданылмайды? Сызықтық регрессияда коэффициенттер көбінесе ең кіші квадраттар әдісін қолдану арқылы есептеледі. Дегенмен, логистикалық регрессияда болжаушылар мен ықтималдықтар арасындағы байланыс сызықтық емес, сондықтан ең кіші квадраттар тәсілі идеалды емес. Логистикалық регрессия әдетте бақыланатын деректердің ықтималдығын барынша арттыратын коэффициент мәнін табу үшін Максималды ықтималдықты бағалауды (MLE) пайдаланады. Қысқаша айтқанда, екілік бақылаулар \(y_i \in \{0,1\} \) және \(p_i \) болжамдарының ықтималдығы: \[ L(\beta) = \prod_{i=1}^{n} p_i^{y_i}(1-p_i)^{(1-y_i)} \] Содан кейін есептеуді жеңілдету үшін ол көбінесе логарифмдік ықтималдыққа түрлендіріледі: \[ \ell(\beta) = \sum_{i=1}^{n} \left[ y_i \ln(p_i) + (1-y_i)\ln(1-p_i) \right] \] \( \beta \) мәні \( \ell(\beta) \) мәнін барынша арттыру үшін таңдалады. Ньютон-Рафсон немесе градиенттік түсу сияқты сандық әдістер статистикалық бағдарламалық жасақтамада жиі қолданылады. Логистикалық регрессияның артықшылықтары мен шектеулері Артықшылықтары 1. Нәтижелер ықтималдықтар түрінде болады, сондықтан оларды шешімдерге айналдыру оңай. 2. Коэффициенттерді түсіндіру ықтималдық коэффициенті арқылы айқын көрінеді. 3. Екілік жіктеу есептеріне жарамды және көпмүшелік/реттікке дейін кеңейтілуі мүмкін. Шектеулер 1. Болжамдар мен логарифмдік ықтималдықтар арасындағы сызықтық байланысты болжайды, ықтималдықтарға тікелей емес. 2. Мультиколлинеарлық немесе өте теңгерімсіз деректер болған жағдайда проблемалы болуы мүмкін. 3. Өте күрделі қарым-қатынас үлгілері үшін басқа сызықтық емес әдістер (мысалы, кездейсоқ орман немесе нейрондық желі) артықшылықты болуы мүмкін. Қорытынды Логистикалық регрессия формуласы ықтималдықтарды алу үшін болжамды айнымалылардың сызықтық комбинациясын сигмоидты функциямен біріктіреді. Ең көп таралған түрі: \[ p = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k)}} \] немесе логит түрінде: \[ \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k \] Формуланың осы екі түрін түсіну арқылы біз айнымалылардың әсерін ықтималдық коэффициенті \( e^{\beta} \) арқылы түсіндіре отырып, әртүрлі екілік жіктеу есептері үшін болжамды модельдер құра аламыз. Логистикалық регрессия деректерді талдауда маңызды негіз болып қала береді, себебі ол қарапайым, күшті және түсіндірмелі болып табылады және көбінесе күрделі модельдерді қолданып көрмес бұрын алғашқы қадам болып табылады. Қаласаңыз, мен шағын деректермен (кесте) есептеу мысалын немесе Python/R тілінде логистикалық регрессияның мысалдық іске асырылуын шығысты түсіндірумен бірге қоса аламын.