Formula di regressione logistica

Formula di regressione logistica

La regressione logistica è uno dei metodi più diffusi in statistica e nella scienza dei dati per modellare la relazione tra un certo numero di variabili indipendenti (predittori) e una variabile dipendente categorica, in particolare binaria (ad esempio, sì/no, successo/fallimento, malato/sano). A differenza della regressione lineare, che produce valori continui, la regressione logistica è progettata per stimare la probabilità di un evento, quindi il risultato finale è compreso tra 0 e 1. In questo articolo, analizzeremo la formula della regressione logistica, il significato di ciascun componente e come interpretarla.

Perché è necessaria la regressione logistica?

Se utilizziamo la regressione lineare per prevedere le probabilità, il modello può produrre valori inferiori a 0 o superiori a 1, il che è chiaramente irragionevole per una probabilità. La regressione logistica risolve questo problema utilizzando una funzione non lineare che mappa il risultato calcolato (che può essere qualsiasi valore) a un valore di probabilità compreso tra 0 e 1. La funzione più comunemente utilizzata è la funzione logistica o sigmoide.

Ad esempio, supponiamo di voler prevedere se un cliente abbandonerà il servizio in base alla sua età, alla durata dell'abbonamento e alla frequenza di utilizzo. Il risultato previsto ha solo due possibilità: abbandono (1) o non abbandono (0). La regressione logistica è particolarmente adatta a questo tipo di situazione.

Formula base per la regressione logistica

L'essenza della regressione logistica consiste nel modellare la probabilità \( p \) che \( Y = 1 \) (l'evento si verifichi), dato il valore della variabile predittiva \( X \).

I modelli di regressione logistica vengono solitamente scritti in due forme principali:

1) Forma di probabilità (sigmoide)

\[
p = P(Y=1 \mid X) = \frac{1}{1 + e^{-z}}
\]

dengan

\[
z = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]

Osservazioni:
– \( p \) è la probabilità dell'evento (ad esempio: churn = 1).
– \( e \) è il numero di Eulero (circa 2,71828).
– \( z \) è una combinazione lineare di predittori.
– \( \beta_0 \) è l'intercetta (costante).
– \( \beta_1, \beta_2, \ldots, \beta_k \) sono i coefficienti di regressione.
– \( X_1, X_2, \ldots, X_k \) sono variabili indipendenti.

La funzione sigmoide garantisce che, qualunque sia il valore di \( z \), il valore di \( p \) rimanga compreso tra 0 e 1.

2) Forma logit (Logaritmo delle probabilità)

Un'altra forma molto importante è la forma logit, che è il logaritmo delle probabilità:

\[
logit(p) = ln(p/1-p) = β₀ + β₁ X₁ + β₂ X₂ + ... + βk X�k
\]

Osservazioni:
– \( \frac{p}{1-p} \) è chiamata probabilità (possibilità relativa).
– \( \ln \) è il logaritmo naturale.

La forma logit spiega che la regressione logistica modella effettivamente il logaritmo delle probabilità come una funzione lineare dei predittori. Ciò rende più chiara l'interpretazione dei coefficienti, soprattutto nel contesto degli odds ratio.

Comprendere le probabilità e i rapporti di probabilità

Per comprendere appieno la formula della regressione logistica, è necessario distinguere tra probabilità e quote.

– Probabilità \( p \): la possibilità che si verifichi un evento (da 0 a 1).
– Probabilità: confronto tra la probabilità che qualcosa accada e la probabilità che non accada:

\[
\text{probabilità} = \frac{p}{1-p}
\]

Esempio: se \( p = 0{,}8 \), allora:

\[
\text{probabilità} = \frac{0,8}{0,2} = 4
\]

Ciò significa che la probabilità che l'evento si verifichi è quattro volte maggiore rispetto alla probabilità che non si verifichi.

Nella regressione logistica, il coefficiente \( \beta \) viene spesso interpretato attraverso l'odds ratio:

\[
\text{OPPURE} = e^{\beta}
\]

– Se \( \beta > 0 \), allora \( e^{\beta} > 1 \): il predittore aumenta le probabilità dell'evento.
– Se \( \beta < 0 \), allora \( e^{\beta} < 1 \): il predittore diminuisce le probabilità dell'evento. - Se \( \beta = 0 \), allora \( e^{\beta} = 1 \): non c'è alcun effetto sulle probabilità. Ad esempio, se \( \beta_1 = 0{,}7 \), allora: \[ e^{0{,}7} \approx 2{,}01 \] Ciò significa che ogni aumento di 1 unità in \( X_1 \) moltiplicherà le probabilità dell'evento per circa 2,01 volte (supponendo che le altre variabili rimangano costanti). Esempio di un modello di regressione logistica semplice Supponiamo di avere una sola variabile predittiva \( X \), ad esempio il numero di ore di studio a settimana, per prevedere il superamento di un esame (superato = 1, non superato = 0). Il modello:

\[ \text{logit}(p) = \beta_0 + \beta_1 X \] Se il risultato stimato è: - \( \beta_0 = -4 \) - \( \beta_1 = 0{,}8 \) Allora: \[ z = -4 + 0{,}8X \] \[ p = \frac{1}{1 + e^{-(-4 + 0{,}8X)}} = \frac{1}{1 + e^{4 - 0{,}8X}} \] Se \( X = 6 \) ore di studio: \[ z = -4 + 0{,}8(6) = 0{,}8 \] \[ p = \frac{1}{1 + e^{-0{,}8}} \approx 0{,}69 \] Interpretazione: con 6 ore di studio a settimana, la probabilità di superare l'esame con un punteggio di circa il 69%. Stima dei coefficienti: perché non il metodo dei minimi quadrati? Nella regressione lineare, i coefficienti vengono spesso calcolati utilizzando il metodo dei minimi quadrati. Tuttavia, nella regressione logistica, la relazione tra predittori e probabilità non è lineare, quindi l'approccio dei minimi quadrati non è ideale. La regressione logistica utilizza generalmente la stima di massima verosimiglianza (MLE) per trovare il valore del coefficiente \( \beta \) che massimizza la verosimiglianza dei dati osservati. In sintesi, la verosimiglianza per osservazioni binarie \( y_i \in \{0,1\} \) e previsioni \( p_i \) è: \[ L(\beta) = \prod_{i=1}^{n} p_i^{y_i}(1-p_i)^{(1-y_i)} \] Viene poi spesso convertita in una log-verosimiglianza per semplificarne il calcolo: \[ \ell(\beta) = \sum_{i=1}^{n} \left[ y_i \ln(p_i) + (1-y_i)\ln(1-p_i) \right] \] Il valore di \( \beta \) viene scelto in modo da massimizzare \( \ell(\beta) \). I software statistici utilizzano spesso metodi numerici come Newton-Raphson o la discesa del gradiente. Vantaggi e limiti della regressione logistica Vantaggi 1. I risultati sono espressi in termini di probabilità, quindi sono facili da tradurre in decisioni. 2. L'interpretazione dei coefficienti è chiara grazie al rapporto di probabilità. 3. Adatta a problemi di classificazione binaria e può essere estesa a problemi multinomiali/ordinali. Limiti 1. Presuppone una relazione lineare tra i predittori e il logaritmo delle probabilità, non direttamente con le probabilità. 2. Può essere problematica in presenza di multicollinearità o dati fortemente sbilanciati. 3. Per modelli di relazione molto complessi, altri metodi non lineari (ad esempio, random forest o reti neurali) potrebbero essere superiori. Conclusione La formula della regressione logistica combina essenzialmente una combinazione lineare di variabili predittive con una funzione sigmoide per produrre probabilità. La forma più comune è: \[ p = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k)}} \] oppure in forma logit: \[ \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k \] Comprendendo queste due forme della formula, possiamo costruire modelli predittivi per vari problemi di classificazione binaria, interpretando al contempo l'influenza delle variabili attraverso l'odds ratio \( e^{\beta} \). La regressione logistica rimane un fondamento importante nell'analisi dei dati perché è semplice, potente e interpretabile, ed è spesso il primo passo prima di tentare modelli più complessi. Se vuoi, posso aggiungere un esempio di calcolo con un piccolo set di dati (tabella), oppure un esempio di implementazione della regressione logistica in Python/R insieme all'interpretazione dei risultati.