Analyse de régression linéaire simple
La régression linéaire simple est une technique statistique utilisée pour analyser la relation entre deux variables quantitatives. La variable que l'on cherche à prédire est appelée variable dépendante ou variable réponse, tandis que la variable utilisée pour effectuer la prédiction est appelée variable indépendante ou variable explicative. En régression linéaire simple, on cherche à trouver la droite qui décrit le mieux la relation entre ces deux variables.
Concepts de base de la régression linéaire simple
La régression linéaire simple repose sur l'hypothèse d'une relation linéaire entre la variable dépendante (Y) et la variable indépendante (X). La forme générale d'un modèle de régression linéaire simple est la suivante :
\[ Y = \beta_0 + \beta_1 X + \epsilon \]
De mana:
– \( Y \) est la variable dépendante.
– \( X \) est la variable indépendante.
– \( \beta_0 \) est l'ordonnée à l'origine, qui est la valeur de \(Y\) lorsque \(X = 0\).
– \( \beta_1 \) est la pente ou le gradient, qui est le changement moyen de \(Y\) pour chaque changement unitaire de \(X\).
– \( \epsilon \) est le terme d'erreur ou résiduel qui représente la variabilité de \(Y\) qui ne peut pas être expliquée par \(X\).
L'objectif de la régression linéaire simple est d'estimer les paramètres \(\beta_0\) et \(\beta_1\) afin que le modèle puisse être utilisé pour prédire la valeur de \(Y\) associée à la valeur de \(X\).
Méthode des moindres carrés
L'une des méthodes les plus couramment utilisées pour ajuster un modèle de régression linéaire simple est la méthode des moindres carrés. Cette méthode vise à minimiser la somme des carrés des écarts verticaux entre les observations réelles et les valeurs prédites par le modèle. Supposons que nous ayons n observations constituées de paires \((x_i, y_i)\) pour \(i = 1, 2, …, n\). La fonction à minimiser est :
\[ S(\beta_0, \beta_1) = \sum_{i=1}^{n} (y_i – (\beta_0 + \beta_1 x_i))^2 \]
Pour trouver les valeurs de \(\beta_0\) et \(\beta_1\) qui minimisent cette fonction, on calcule les dérivées partielles de \(S(\beta_0, \beta_1)\) par rapport à chaque paramètre et on annule ces dérivées. Le calcul mathématique peut être simplifié comme suit :
\[ \beta_1 = \frac{\sum_{i=1}^{n} (x_i – \bar{x})(y_i – \bar{y})}{\sum_{i=1}^{n} (x_i – \bar{x})^2} \]
\[ \beta_0 = \bar{y} – \beta_1 \bar{x} \]
De mana:
– \(\bar{x}\) est la moyenne de \(X\)
– \(\bar{y}\) est la moyenne de \(Y\)
Après avoir obtenu les paramètres \(\beta_0\) et \(\beta_1\), un modèle de régression linéaire simple peut être utilisé pour prédire la valeur de \(Y\) pour chaque valeur de \(X\).
Hypothèses de la régression linéaire simple
Pour obtenir des résultats valides et fiables, la régression linéaire simple repose sur plusieurs hypothèses :
1. Linéarité : La relation entre la variable dépendante et la variable indépendante doit être linéaire.
2. Indépendance : Les observations doivent être indépendantes les unes des autres.
3. Homoscédasticité : La variabilité résiduelle doit être constante sur toute la plage de valeurs de la variable indépendante.
4. Normalité des résidus : Les résidus (erreurs) doivent suivre une distribution normale.
Si ces hypothèses ne sont pas vérifiées, les résultats d'un modèle de régression linéaire simple seront peu fiables et pourraient ne pas permettre de faire des prédictions précises.
Évaluation du modèle de régression
Une façon d'évaluer la qualité des prédictions d'un modèle de régression linéaire simple consiste à utiliser le coefficient de détermination (R²). Ce coefficient indique la proportion de la variabilité de la variable dépendante expliquée par la variabilité des variables indépendantes.
\[ R^2 = \frac{\sum_{i=1}^{n} (\hat{y}_i – \bar{y})^2}{\sum_{i=1}^{n} (y_i – \bar{y})^2} \]
De mana:
– \(\hat{y}_i\) est la valeur prédite de \(Y\).
– \(y_i\) est la valeur réelle de \(Y\).
– \(\bar{y}\) est la moyenne des valeurs de \(Y\).
La valeur de \(R^2\) varie de 0 à 1. Une valeur de \(R^2\) proche de 1 indique que le modèle peut expliquer la majeure partie de la variabilité de la variable dépendante.
Implémentation en langage de programmation
Pour implémenter une régression linéaire simple, on peut utiliser divers logiciels statistiques ou langages de programmation. Voici un exemple d'implémentation en Python utilisant la bibliothèque `scikit-learn` :
« `python
importer numpy en tant que np
importer matplotlib.pyplot en tant que plt
à partir de sklearn.linear_model importer LinearRegression
à partir de sklearn.metrics importer Mean_squared_error, r2_score
Centres de données
X = np.array([[1], [2], [3], [4], [5]]).astype(np.float64)
y = np.array([1.5, 3.6, 3.5, 2.9, 5.5]).astype(np.float64)
Modèle
modèle = régression linéaire ()
model.fit (X, y)
Prédiction
y_pred = modèle.prédire (X)
Coefficient
bêta_0 = modèle.intercept_
bêta_1 = modèle.coef_[0]
print(f'Intercept: {beta_0}')
print(f'Pente : {beta_1}')
print(f'Erreur quadratique moyenne : {mean_squared_error(y, y_pred)}')
print(f'Coefficient de détermination (R^2) : {r2_score(y, y_pred)}')
Graphique des données et droite de régression
plt.scatter(X, y, color='blue')
plt.plot(X, y_pred, color='red')
plt.xlabel('X')
plt.ylabel('Y')
plt.show ()
“`
Dans l'exemple ci-dessus, nous importons d'abord les bibliothèques nécessaires, définissons les données \(X\) et \(Y\), puis utilisons l'objet `LinearRegression` de `scikit-learn` pour ajuster un modèle aux données. Une fois le modèle ajusté, nous effectuons des prédictions et calculons les coefficients, ainsi que l'erreur quadratique moyenne et le coefficient de détermination. Enfin, nous traçons le graphique des données et de la droite de régression.
conclusion
La régression linéaire simple est un outil d'analyse statistique puissant permettant d'expliquer la relation entre deux variables quantitatives. Sous certaines hypothèses de base concernant la linéarité, l'indépendance, l'homoscédasticité et la normalité, elle permet de prédire la valeur de la variable dépendante à partir des valeurs des variables indépendantes. La méthode des moindres carrés offre un moyen efficace d'ajuster une droite de régression et de déterminer les paramètres optimaux. L'évaluation du modèle par le coefficient de détermination (R²) renseigne sur sa performance.
Bien que la régression linéaire simple présente des limites, comme le fait de ne pouvoir traiter que deux variables et les hypothèses qui doivent être respectées, cette technique reste un fondement important en statistiques et en analyse de données, et est souvent utilisée comme première étape pour comprendre la relation entre les variables avant de passer à des méthodes plus complexes.
