Логистикалык регрессиянын формуласы

Логистикалык регрессиянын формуласы

Логистикалык регрессия - статистика жана маалымат илиминде бир катар көз карандысыз өзгөрмөлөрдүн (болжолдоочулардын) жана категориялык көз каранды өзгөрмөнүн, айрыкча экиликтин (мисалы, ооба/жок, ийгилик/ийгиликсиздик, ооруп/ден соолук) ортосундагы байланышты моделдөө үчүн эң популярдуу ыкмалардын бири. Үзгүлтүксүз маанилерди пайда кылган сызыктуу регрессиядан айырмаланып, логистикалык регрессия окуянын ыктымалдуулугун баалоо үчүн иштелип чыккан, ошондуктан акыркы натыйжа 0дөн 1ге чейинки диапазондо болот. Бул макалада биз логистикалык регрессиянын формуласын, ар бир компоненттин маанисин жана аны кантип чечмелөө керектигин талкуулайбыз.

Логистикалык регрессия эмне үчүн керек?

Эгерде биз ыктымалдуулуктарды алдын ала айтуу үчүн сызыктуу регрессияны колдонсок , модель 0дөн төмөн же 1ден жогору маанилерди бере алат, бул ыктымалдуулук үчүн ачыктан-ачык акылга сыйбаган нерсе. Логистикалык регрессия бул көйгөйдү эсептелген натыйжаны (ал каалаган маани болушу мүмкүн) 0 жана 1 ортосундагы ыктымалдуулук маанисине чагылдырган сызыктуу эмес функцияны колдонуу менен чечет. Эң көп колдонулган функция - логистикалык же сигмоиддик функция.

Мисалы, кардардын жашына, жазылуу мөөнөтүнө жана колдонуу жыштыгына жараша алардын кызматтан кетишин алдын ала айткыбыз келет дейли. Болжолдонгон натыйжанын эки гана мүмкүнчүлүгү бар: кызматтан кетүү (1) же кызматтан кетүүнүн жоктугу (0). Логистикалык регрессия мындай кырдаалга жакшы ылайыктуу.

Логистикалык регрессиянын негизги формуласы

Логистикалык регрессиянын маңызы - божомолдоочу өзгөрмөнүн мааниси берилгенде, (окуя пайда болуу ыктымалдыгын (p) моделдөөдө турат), (Y = 1), (окуя болот).

Логистикалык регрессиялык моделдер, адатта, эки маанилүү формада жазылат:

1) Ыктымалдуулук формасы (Сигмоиддик)

\[
p = P(Y=1 \mid X) = \frac{1}{1 + e^{-z}}
\]

менен

\[
z = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]

Маалымат:
– \( p \) – бул окуянын ыктымалдуулугу (мисалы: агым = 1).
– \( e \) – Эйлердин саны (болжол менен 2,71828).
– \( z \) – бул предикторлордун сызыктуу айкалышы.
– \( \beta_0 \) кесилиш чоңдук (туруктуу).
– \( \beta_1, \beta_2, \ldots, \beta_k \) регрессия коэффициенттери болуп саналат.
– \( X_1, X_2, \ldots, X_k \) көз карандысыз өзгөрмөлөр.

Сигмоиддик функция \(z\) мааниси кандай болбосун, \(p\) мааниси 0 жана 1 ортосунда калаарын камсыздайт.

2) Логит формасы (Лог коэффициенттери)

Дагы бир абдан маанилүү форма - бул логит формасы, ал коэффициенттердин логарифми:

\[
\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]

Маалымат:
– \( \frac{p}{1-p} \) ыктымалдуулук (салыштырмалуу мүмкүнчүлүк) деп аталат.
– \( \ln \) – бул натуралдык логарифм.

Логит формасы логистикалык регрессия чындыгында логарифмдик ыктымалдуулукту предикторлордун сызыктуу функциясы катары моделдей турганын түшүндүрөт. Бул коэффициенттерди чечмелөөнү, айрыкча ыктымалдуулук катыштарынын контекстинде, айкыныраак кылат.

Ыктымалдуулуктарды жана ыктымалдуулук катыштарын түшүнүү

Логистикалык регрессия формуласын чындап түшүнүү үчүн, биз ыктымалдуулук менен коэффициенттерди айырмалашыбыз керек.

– Ыктымалдуулук \( p \): окуянын болуу ыктымалдыгы (0дөн 1ге чейин).
– Ыктымалдуулук: бир нерсенин болуу ыктымалдуулугун болбоо ыктымалдуулугу менен салыштыруу:

\[
\text{коэффициенттер} = \frac{p}{1-p}
\]

Мисал: эгер \( p = 0{,}8 \) болсо, анда:

\[
\text{коэффициенттер} = \frac{0{,}8}{0{,}2} = 4
\]

Бул окуянын болушу мүмкүн эместигине караганда 4 эсе көп экенин билдирет.

Логистикалык регрессияда \( \бета \) коэффициенти көбүнчө ыктымалдуулук катышы аркылуу чечмеленет:

\[
\text{OR} = e^{\beta}
\]

– Эгерде \( \beta > 0 \) болсо, анда \( e^{\beta} > 1 \): предиктор окуянын ыктымалдыгын жогорулатат.
– Эгерде \( \beta < 0 \) болсо, анда \( e^{\beta} < 1 \): предиктор окуянын ыктымалдыгын азайтат.
– Эгерде \( \beta = 0 \) болсо, анда \( e^{\beta} = 1 \): коэффициенттерге эч кандай таасир этпейт.

Мисалы, эгер \( \beta_1 = 0{,}7 \) болсо, анда:

\[
e^{0{,}7} \prx 2{,}01
\]

Бул \(X_1 \) ар бир 1 бирдикке көбөйгөндө окуянын ыктымалдыгы болжол менен 2,01 эсеге көбөйөт дегенди билдирет (башка өзгөрмөлөр туруктуу бойдон калса).

Жөнөкөй логистикалык регрессия моделинин мисалы

Мисалы, экзаменден өтүүнү алдын ала айтуу үчүн бир гана божомолдоочу өзгөрмө бар дейли, \(X \), мисалы, жумасына канча окуу сааты бар (өттү = 1, кулап калды = 0). Модель төмөнкүдөй:

\[
\text{logit}(p) = \beta_0 + \beta_1
\]

Эгерде баалоо жыйынтыгы:
– \( \бета_0 = -4 \)
– \( \бета_1 = 0{,}8 \)

Ошентип:

\[
z = -4 + 0{,}8X
\]
\[
p = \frac{1}{1 + e^{-(-4 + 0{,}8X)}} = \frac{1}{1 + e^{4 – 0{,}8X}}
\]

Эгерде окуу сааты \(X = 6 \) болсо:

\[
z = -4 + 0{,}8(6) = 0{,}8
\]
\[
p = \frac{1}{1 + e^{-0{,}8}} \approx 0{,}69
\]

Чечмелөө: жумасына 6 саат окуу менен, өтүү ыктымалдуулугу болжол менен 69% түзөт.

Коэффициентти баалоо: Эмне үчүн эң кичине квадраттар ыкмасы колдонулбайт?

Сызыктуу регрессияда коэффициенттер көбүнчө эң кичине квадраттар ыкмасын колдонуу менен эсептелет. Бирок, логистикалык регрессияда божомолдоочулар менен ыктымалдуулуктардын ортосундагы байланыш сызыктуу эмес, андыктан эң кичине квадраттар ыкмасы идеалдуу эмес. Логистикалык регрессия байкалган маалыматтардын ыктымалдуулугун максималдуу түрдө жогорулаткан коэффициенттин маанисин табуу үчүн жалпысынан Максималдуу Ыктымалдуулукту Баалоону (MLE) колдонот.

Кыскасы, экилик байкоолор \(y_i \in \{0,1\} \) жана \(p_i \) божомолдору үчүн ыктымалдуулук төмөнкүдөй:

\[
L(\бета) = \prod_{i=1}^{n} p_i^{y_i}(1-p_i)^{(1-y_i)}
\]

Андан кийин эсептөөнү жеңилдетүү үчүн ал көп учурда логарифмдик ыктымалдуулукка айландырылат:

\[
\ell(\бета) = \sum_{i=1}^{n} \left[ y_i \ln(p_i) + (1-y_i)\ln(1-p_i) \right]
\]

\(\beta\) мааниси \(\ell(\beta)\ маанисин максималдаштыруу үчүн тандалат. Ньютон-Рафсон же градиенттик төмөндөө сыяктуу сандык ыкмалар көбүнчө статистикалык программалар тарабынан колдонулат.

Логистикалык регрессиянын артыкчылыктары жана чектөөлөрү

Ашыкча
1. Жыйынтыктар ыктымалдуулук түрүндө берилет, ошондуктан аларды чечимдерге айландыруу оңой.
2. Коэффициенттин чечмелениши ыктымалдуулук катышы аркылуу айкын болот.
3. Экилик классификация маселелерине ылайыктуу жана көп мүчөлүү/тартиптүү санга чейин кеңейтилиши мүмкүн.

Чектөөлөр
1. Ыктымалдуулукка түз эмес, божомолдоочулар менен логарифмдик ыктымалдуулуктун ортосундагы сызыктуу байланышты болжолдойт.
2. Эгерде мультиколлинеардуулук болсо же маалыматтар өтө тең салмаксыз болсо, көйгөй жаралышы мүмкүн.
3. Өтө татаал мамилелердин үлгүлөрү үчүн башка сызыктуу эмес ыкмалар (мисалы, кокустук токой же нейрон тармагы) артыкчылыктуу болушу мүмкүн.

Penutup

Логистикалык регрессия формуласы ыктымалдуулуктарды алуу үчүн болжолдоочу өзгөрмөлөрдүн сызыктуу айкалышын сигмоиддик функция менен айкалыштырат. Эң кеңири таралган формасы:

\[
p = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k)}}
\]

же логит түрүндө:

\[
\ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k
\]

Формуланын бул эки формасын түшүнүү менен, биз ар кандай экилик классификация маселелери үчүн болжолдуу моделдерди түзө алабыз, ошол эле учурда өзгөрмөлөрдүн таасирин ыктымалдуулук катышы \(e^{\beta} \) аркылуу чечмелей алабыз. Логистикалык регрессия маалыматтарды талдоодо маанилүү негиз бойдон калууда , анткени ал жөнөкөй, күчтүү жана чечмелөөчү болуп саналат жана көп учурда татаалыраак моделдерди колдонуп көрүүдөн мурунку биринчи кадам болуп саналат.

Кааласаңыз, мен кичинекей маалыматтар менен эсептөөнүн мисалын (таблица) же Python/R тилинде логистикалык регрессиянын мисалын ишке ашырууну жана натыйжаны чечмелөөнү кошо алам.