Fua fa'atatau o le Logistic Regression
O le logistic regression o se tasi o metotia sili ona lauiloa i fuainumera ma le saienisi o faʻamaumauga mo le faʻataʻitaʻiina o le sootaga i le va o le tele o fesuiaʻiga tutoʻatasi (predictors) ma se fesuiaʻiga faʻalagolago faʻavasega, aemaise lava le binary (e.g., ioe/leai, manuia/le manuia, maʻi/maloloina). E le pei o le linear regression, lea e maua ai ni tau faifai pea, o le logistic regression ua mamanuina e faʻatatau ai le ono mafai ona tupu se mea, o lea o le iʻuga mulimuli e i le va o le 0 i le 1. I totonu o lenei tusiga, o le a tatou talanoaina le fua faʻatatau o le logistic regression, le uiga o vaega taʻitasi, ma le auala e faʻamatalaina ai.
Aiseā e Manaʻomia ai le Logistic Regression?
Afai tatou te faʻaaogaina le linear regression e vavalo ai avanoa, e mafai e le faʻataʻitaʻiga ona maua ni tau i lalo ifo o le 0 pe sili atu i le 1, lea e manino lava e le talafeagai mo le avanoa. O le logistic regression e foia lenei faʻafitauli e ala i le faʻaaogaina o se galuega faatino e le o se linear e faʻafanua ai le taunuuga ua fuafuaina (lea e mafai ona avea ma soʻo se tau) i se tau avanoa i le va o le 0 ma le 1. O le galuega faatino e masani ona faʻaaogaina o le logistic poʻo le sigmoid function.
Mo se faʻataʻitaʻiga, faʻapea tatou te manaʻo e vavalo pe o le a faʻatau atu e se tagata faʻatau e faʻatatau i lona matua, umi o le lesitalaina, ma le tele o taimi e faʻaaoga ai. E naʻo le lua avanoa e mafai ona maua i le iʻuga ua vavaloina: faʻatau atu (1) pe leai foi se faʻatau atu (0). E fetaui lelei le logistic regression mo lenei ituaiga tulaga.
Fua Fa'avae mo le Logistic Regression
O le uiga autū o le logistic regression o le faʻataʻitaʻiina lea o le avanoa \( p \) e \( Y = 1 \) (e tupu le mea na tupu), pe a faʻatusatusa i le tau o le fesuiaʻiga e faʻailoa ai \( X \).
E masani ona tusia faʻataʻitaʻiga o le logistic regression i ni faʻatulagaga taua se lua:
1) Pepa o le Avanoa (Sigmoid)
\[
p = P(Y=1 \mid X) = \frac{1}{1 + e^{-z}}
\]
ma
\[
z = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]
Fa'amatalaga:
– \( p \) o le avanoa e tupu ai le mea na tupu (e.g.: churn = 1).
– \( e \) o le numera a Euler (pe tusa o le 2,71828).
– \( z \) o se tu'ufa'atasiga laina o fa'ailoga vavalo.
– \( \beta_0 \) o le intercept (constant).
– O \( \beta_1, \beta_2, \ldots, \beta_k \) o fua fa'atatau ia o le regression.
– \( X_1, X_2, \ldots, X_k \) o fesuia'iga tuto'atasi ia.
O le galuega faatino sigmoid e faʻamautinoa ai po o le a lava le tau o le \( z \), o le tau o le \( p \) e tumau i le va o le 0 ma le 1.
2) Pepa Logit (Log Odds)
O le isi fomu taua tele o le fomu logit, o le logarithm lea o le avanoa:
\[
\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]
Fa'amatalaga:
– \( \frac{p}{1-p} \) e ta'ua o le avanoa (related accuracy).
– \( \ln \) o le logarithm masani.
O le fomu logit e faʻamatalaina ai o le logistic regression e faʻataʻitaʻiina moni lava le log odds o se galuega faʻasolosolo o predictors. O lenei mea e faʻamanino atili ai le faʻamatalaina o coefficients, aemaise lava i le tulaga o odds ratios.
Malamalama i le Odds ma le Odds Ratio
Ina ia malamalama moni i le fua fa'atatau o le logistic regression, e mana'omia ona tatou iloa le eseesega i le va o le avanoa ma le avanoa.
– Avanoa \( p \): le avanoa e tupu ai se mea (0 i le 1).
– Odds: faʻatusatusaga o le avanoa e tupu ai se mea ma le le tupu:
\[
\text{odds} = \frac{p}{1-p}
\]
Faʻataʻitaʻiga: afai \( p = 0{,}8 \), ona:
\[
\text{odds} = \frac{0{,}8}{0{,}2} = 4
\]
O lona uiga e 4 taimi e sili atu ona tupu ai le mea na tupu nai lo le le tupu.
I le logistic regression, o le coefficient \( \beta \) e masani ona faauigaina e ala i le odds ratio:
\[
\text{OR} = e^{\beta}
\]
– Afai \( \beta > 0 \), ona \( e^{\beta} > 1 \): e faʻateleina e le faʻailoga le avanoa o le mea na tupu.
– Afai \( \beta < 0 \), ona \( e^{\beta} < 1 \): e faʻaitiitia e le faʻailoga le avanoa o le mea na tupu.
– Afai \( \beta = 0 \), ona \( e^{\beta} = 1 \): e leai se aafiaga i le avanoa.
Mo se faʻataʻitaʻiga, afai \( \beta_1 = 0{,}7 \), ona:
\[
e^{0{,}7} \approx 2{,}01
\]
O lona uiga o le fa'aopoopoga o le iunite e 1 i le \( X_1 \) o le a fa'ateleina ai le avanoa o le mea na tupu i le tusa ma le 2,01 taimi (pe a fa'apea o lo'o tumau pea isi fesuia'iga).
Fa'ata'ita'iga o se Fa'ata'ita'iga Faigofie o le Logistic Regression
Faapea e na'o le tasi le fesuia'iga e fa'ailoa mai ai \( X \), mo se fa'ata'ita'iga o le aofa'i o itula su'esu'e i le vaiaso, e fa'ailoa ai le pasia o le su'ega (pasia = 1, toilalo = 0). O le fa'ata'ita'iga lenei:
\[
\text{logit}(p) = \beta_0 + \beta_1
\]
Afai o le taunuuga o le faʻatatauga:
– \( \beta_0 = -4 \)
– \( \beta_1 = 0{,}8 \)
O lea la:
\[
z = -4 + 0{,}8X
\]
\[
p = \frac{1}{1 + e^{-(-4 + 0{,}8X)}} = \frac{1}{1 + e^{4 – 0{,}8X}}
\]
Afai o le \( X = 6 \) itula o suʻesuʻega:
\[
z = -4 + 0{,}8(6) = 0{,}8
\]
\[
p = \frac{1}{1 + e^{-0{,}8}} \approx 0{,}69
\]
Fa'amatalaga: fa'atasi ai ma le 6 itula o su'esu'ega i le vaiaso, o le avanoa e pasia ai e tusa ma le 69%.
Fuafuaga Fa'atusatusa: Aiseā e Lē Fa'aaogaina ai le Metotia o le Least Squares?
I le linear regression , e masani ona fuafuaina coefficients e faʻaaoga ai le metotia least squares. Peitaʻi, i le logistic regression, o le sootaga i le va o predictors ma probabilities e le o se linear, o lea e le o se auala lelei le least squares. E masani ona faʻaaogaina e le logistic regression le Maximum Likelihood Estimation (MLE) e suʻe ai le tau o le coefficient \( \beta \) e faʻateleina ai le ono mafai o faʻamatalaga matauina.
I se aotelega, o le avanoa mo matauga binary \( y_i \in \{0,1\} \) ma valo'aga \( p_i \) e faapea:
\[
L(\beta) = \prod_{i=1}^{n} p_i^{y_i}(1-p_i)^{(1-y_i)}
\]
Ona masani lea ona liua i se log-likelihood ina ia faigofie ai ona fuafuaina:
\[
\ell(\beta) = \sum_{i=1}^{n} \left[ y_i \ln(p_i) + (1-y_i)\ln(1-p_i) \right]
\]
O le tau o le \( \beta \) e filifilia e faʻateleina ai \( \ell(\beta) \). O metotia faʻafuainumera e pei o le Newton-Raphson poʻo le gradient descent e masani ona faʻaaogaina e polokalama faakomepiuta faʻamaufaʻailoga.
Lelei ma Tapula'a o le Logistic Regression
Ova
1. O iʻuga o loʻo i le tulaga o ni mea e ono tutupu ina ia faigofie ai ona faʻaliliu i ni faʻaiuga.
2. E manino le fa'auigaga o le fua fa'atatau (coefficient) e ala i le fua fa'atatau o le odds.
3. Talafeagai mo fa'afitauli o le fa'avasegaga binary ma e mafai ona fa'alauteleina i le multinomial/ordinal.
Tapula'a
1. Fa'apea o se sootaga laina i le va o mea e vavalo ma le log odds, nai lo le tuusa'o i le avanoa.
2. E mafai ona avea ma fa'afitauli pe afai e iai le multicollinearity pe afai e matuā lē paleni fa'amaumauga.
3. Mo mamanu o sootaga e matua faigata lava, o isi metotia e le o ni laina sa'o (e pei o le random forest po'o le neural network) atonu e sili atu.
Fa'ato'a
O le fua fa'atatau o le logistic regression e tu'ufa'atasia ai se tu'ufa'atasiga fa'asolosolo o fesuia'iga fa'ata'ita'i ma se galuega sigmoid e maua ai ni fa'amoemoega. O le faiga masani o le:
\[
p = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k)}}
\]
pe i le faiga logit:
\[
\ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k
\]
I le malamalama i nei ituaiga e lua o le fua fa'atatau, e mafai ona tatou fausia ni fa'ata'ita'iga vavalo mo fa'afitauli eseese o le fa'avasegaga binary a'o fa'amatalaina le faatosinaga o fesuia'iga e ala i le odds ratio \( e^{\beta} \). O lo'o tumau pea le logistic regression o se fa'avae taua i le au'ili'iliga o fa'amaumauga aua e faigofie, malosi, ma fa'amatalaina—ma e masani lava o le la'asaga muamua a'o le'i taumafai i ni fa'ata'ita'iga e sili atu ona faigata.
Afai e te manaʻo ai, e mafai ona ou faʻaopoopoina se faʻataʻitaʻiga o le faʻatusatusaga ma faʻamatalaga laiti (laulau), poʻo se faʻataʻitaʻiga o le faʻatinoina o le logistic regression i le Python/R faʻatasi ai ma le faʻamatalaina o le iʻuga.
