Analisi di regressione lineare semplice
La regressione lineare semplice è una tecnica statistica utilizzata per analizzare la relazione tra due variabili quantitative. La variabile che si cerca di prevedere è chiamata variabile dipendente o di risposta, mentre la variabile utilizzata per effettuare la previsione è chiamata variabile indipendente o predittiva. Nella regressione lineare semplice, si cerca di trovare la retta che meglio descrive la relazione tra queste due variabili.
Concetti base della regressione lineare semplice
La regressione lineare semplice si basa sul presupposto che esista una relazione lineare tra la variabile dipendente (Y) e la variabile indipendente (X). La forma generale di un modello di regressione lineare semplice è:
\[ Y = \beta_0 + \beta_1 X + \epsilon \]
Di mana:
– \( Y \) è la variabile dipendente.
– \( X \) è la variabile indipendente.
– \( \beta_0 \) è l'intercetta, che è il valore di \(Y\) quando \(X = 0\).
– \( \beta_1 \) è la pendenza o il gradiente, che rappresenta la variazione media in \(Y\) per ogni variazione unitaria in \(X\).
– \( \epsilon \) è il termine di errore o residuo che rappresenta la variabilità in \(Y\) che non può essere spiegata da \(X\).
L'obiettivo della regressione lineare semplice è stimare i parametri \(\beta_0\) e \(\beta_1\) in modo che il modello possa essere utilizzato per prevedere il valore di \(Y\) associato al valore di \(X\).
Metodo dei minimi quadrati
Uno dei metodi più comunemente utilizzati per adattare un semplice modello di regressione lineare è il metodo dei minimi quadrati. Questo metodo mira a minimizzare la somma dei quadrati delle deviazioni verticali tra le osservazioni effettive e i valori previsti dal modello. Supponiamo di avere n osservazioni costituite da coppie \((x_i, y_i)\) per \(i = 1, 2, …, n\). La funzione da minimizzare è:
\[ S(\beta_0, \beta_1) = \sum_{i=1}^{n} (y_i – (\beta_0 + \beta_1 x_i))^2 \]
Per trovare \(\beta_0\) e \(\beta_1\) che minimizzano questa funzione, calcoliamo le derivate parziali di \(S(\beta_0, \beta_1)\) rispetto a ciascun parametro e le poniamo uguali a zero. Il calcolo matematico può essere semplificato come segue:
\[ \beta_1 = \frac{\sum_{i=1}^{n} (x_i – \bar{x})(y_i – \bar{y})}{\sum_{i=1}^{n} (x_i – \bar{x})^2} \]
\[ \beta_0 = \bar{y} – \beta_1 \bar{x} \]
Di mana:
– \(\bar{x}\) è la media di \(X\)
– \(\bar{y}\) è la media di \(Y\)
Dopo aver ottenuto i parametri \(\beta_0\) e \(\beta_1\), è possibile utilizzare un semplice modello di regressione lineare per prevedere il valore di \(Y\) per ogni valore di \(X\).
Presupposti nella regressione lineare semplice
Per ottenere risultati validi e affidabili, la regressione lineare semplice presuppone diverse cose:
1. Linearità: La relazione tra la variabile dipendente e la variabile indipendente deve essere lineare.
2. Indipendenza: Le osservazioni devono essere indipendenti l'una dall'altra.
3. Omoschedasticità: la variabilità residua deve essere costante nell'intero intervallo di valori della variabile indipendente.
4. Normalità dei residui: i residui (errori) devono seguire una distribuzione normale.
Se questi presupposti non vengono soddisfatti, i risultati di un semplice modello di regressione lineare saranno inaffidabili e potrebbero non essere in grado di fornire previsioni accurate.
Valutazione del modello di regressione
Un modo per valutare l'accuratezza predittiva di un semplice modello di regressione lineare è utilizzare il coefficiente di determinazione (R²). Il coefficiente di determinazione indica la proporzione di variabilità nella variabile dipendente che può essere spiegata dalla variabilità nelle variabili indipendenti.
\[ R^2 = \frac{\sum_{i=1}^{n} (\hat{y}_i – \bar{y})^2}{\sum_{i=1}^{n} (y_i – \bar{y})^2} \]
Di mana:
– \(\hat{y}_i\) è il valore previsto di \(Y\).
– \(y_i\) è il valore effettivo di \(Y\).
– \(\bar{y}\) è la media dei valori di \(Y\).
Il valore di \(R^2\) varia da 0 a 1. Un valore di \(R^2\) vicino a 1 indica che il modello è in grado di spiegare la maggior parte della variabilità nella variabile dipendente.
Implementazione in linguaggio di programmazione
Per implementare una semplice regressione lineare, possiamo utilizzare diversi software statistici o linguaggi di programmazione. Di seguito è riportato un esempio di implementazione in Python utilizzando la libreria `scikit-learn`:
“`Pitone
importa numpy come np
import matplotlib.pyplot come plt
da sklearn.linear_model importa LinearRegression
da sklearn.metrics importa mean_squared_error, r2_score
Dati
X = np.array([[1], [2], [3], [4], [5]]).astype(np.float64)
y = np.array([1.5, 3.6, 3.5, 2.9, 5.5]).astype(np.float64)
Modello
modello = RegressioneLineare()
modello.fit(X, y)
Predizione
y_pred = modello.predict(X)
Coefficiente
beta_0 = intercetta_modello
beta_1 = modello.coef_[0]
print(f'Intercetta: {beta_0}')
print(f'Pendenza: {beta_1}')
print(f'Errore quadratico medio: {mean_squared_error(y, y_pred)}')
print(f'Coefficiente di determinazione (R^2): {r2_score(y, y_pred)}')
Grafico dei dati e retta di regressione
plt.scatter(X, y, color='blue')
plt.plot(X, y_pred, color='red')
plt.xlabel('X')
plt.ylabel('Y')
plt.show ()
“`
Nell'esempio precedente, importiamo innanzitutto le librerie necessarie, definiamo i dati \(X\) e \(Y\), e quindi utilizziamo l'oggetto `LinearRegression` di `scikit-learn` per adattare un modello ai dati. Una volta adattato il modello, effettuiamo previsioni e calcoliamo i coefficienti, nonché l'errore quadratico medio e il coefficiente di determinazione. Infine, tracciamo i dati e la retta di regressione.
conclusione
La regressione lineare semplice è un potente strumento di analisi statistica utilizzato per spiegare la relazione tra due variabili quantitative. Con alcune ipotesi di base su linearità, indipendenza, omoschedasticità e normalità, possiamo prevedere il valore della variabile dipendente in base ai valori delle variabili indipendenti. Il metodo dei minimi quadrati fornisce un modo efficace per adattare una retta di regressione e determinare i parametri ottimali. La valutazione del modello attraverso il coefficiente di determinazione (R²) fornisce informazioni sull'efficacia del nostro modello.
Sebbene la regressione lineare semplice presenti delle limitazioni, come la possibilità di gestire solo due variabili e le ipotesi che devono essere soddisfatte, questa tecnica rimane un fondamento importante nella statistica e nell'analisi dei dati, ed è spesso utilizzata come primo passo per comprendere la relazione tra le variabili prima di passare a metodi più complessi.
