Analiza simplă a regresiei liniare
Regresia liniară simplă este o tehnică statistică utilizată pentru a analiza relația dintre două variabile cantitative. Variabila pe care încercăm să o prezicem se numește variabilă dependentă sau variabilă de răspuns, în timp ce variabila utilizată pentru a face predicția se numește variabilă independentă sau variabilă predictor. În regresia liniară simplă, încercăm să găsim cea mai bună linie dreaptă care descrie relația dintre aceste două variabile.
Concepte de bază ale regresiei liniare simple
Regresia liniară simplă se bazează pe presupunerea că există o relație liniară între variabila dependentă \(Y\) și variabila independentă \(X\). Forma generală a unui model de regresie liniară simplă este:
Y = β0 + β1 X + ε
Di mana:
– \(Y \) este variabila dependentă.
– \(X\) este variabila independentă.
– \( \beta_0 \) este intersecția cu axa \(Y\) când \(X = 0\).
– \( \beta_1 \) este panta sau gradientul, care reprezintă schimbarea medie a lui \(Y\) pentru fiecare schimbare unitară a lui \(X\).
– \(\epsilon\) este eroarea sau termenul rezidual care reprezintă variabilitatea din \(Y\) ce nu poate fi explicată prin \(X\).
Scopul regresiei liniare simple este de a estima parametrii \(\beta_0\) și \(\beta_1\) astfel încât modelul să poată fi utilizat pentru a prezice valoarea lui \(Y\) asociată cu valoarea lui \(X\).
Metoda celor mai mici pătrate
Una dintre cele mai utilizate metode pentru ajustarea unui model de regresie liniară simplă este metoda celor mai mici pătrate. Această metodă își propune să minimizeze suma pătratelor abaterilor verticale dintre observațiile reale și valorile prezise de model. Să presupunem că avem n observații constând din perechi \((x_i, y_i)\) pentru \(i = 1, 2, …, n\). Funcția care trebuie minimizată este:
S(β0, β1) = \sum_{i=1}^{n} (y_i – (β0 + β1 x_i))^2
Pentru a găsi \(\beta_0\) și \(\beta_1\) care minimizează această funcție, luăm derivatele parțiale ale lui \(S(\beta_0, \beta_1)\) în raport cu fiecare parametru și punem aceste derivate la zero. Calculul matematic poate fi simplificat după cum urmează:
\[ β1 = \frac{\sum_{i=1}^{n} (x_i – \bar{x})(y_i – \bar{y})}{\sum_{i=1}^{n} (x_i – \bar{x})^2} \]
\[ \beta_0 = \bar{y} – \beta_1 \bar{x} \]
Di mana:
– \(\bar{x}\) este media dintre \(X\)
– \(\bar{y}\) este media dintre \(Y\)
După obținerea parametrilor \(\beta_0\) și \(\beta_1\), se poate utiliza un model simplu de regresie liniară pentru a prezice valoarea lui \(Y\) pentru fiecare valoare a lui \(X\).
Ipoteze în regresia liniară simplă
Pentru rezultate valide și fiabile, regresia liniară simplă presupune mai multe lucruri:
1. Liniaritate: Relația dintre variabila dependentă și variabila independentă trebuie să fie liniară.
2. Independență: Observațiile trebuie să fie independente unele de altele.
3. Homoscedasticitate: Variabilitatea reziduală trebuie să fie constantă pe întreg intervalul de valori al variabilei independente.
4. Normalitate reziduală: Reziduurile (erorile) trebuie să urmeze o distribuție normală.
Dacă aceste ipoteze nu sunt îndeplinite, rezultatele unui model de regresie liniară simplă vor fi nefiabile și este posibil să nu poată face predicții precise.
Evaluarea modelului de regresie
O modalitate de a evalua cât de bine a prezis un model simplu de regresie liniară este utilizarea Coeficientului de Determinare (\(R^2\)). Coeficientul de determinare arată proporția de variabilitate a variabilei dependente care poate fi explicată prin variabilitatea variabilelor independente.
\[ R^2 = \frac{\sum_{i=1}^{n} (\hat{y}_i – \bar{y})^2}{\sum_{i=1}^{n} (y_i – \bar{y})^2} ]
Di mana:
– \(\hat{y}_i\) este valoarea prezisă a lui \(Y\).
– \(y_i\) este valoarea reală a lui \(Y\).
– \(\bar{y}\) este media valorilor lui \(Y\).
Valoarea \(R^2\) variază de la 0 la 1. O valoare \(R^2\) apropiată de 1 indică faptul că modelul poate explica cea mai mare parte a variabilității variabilei dependente.
Implementare în limbaj de programare
Pentru a implementa o regresie liniară simplă, putem folosi diverse programe statistice sau limbaje de programare. Mai jos este un exemplu de implementare în Python folosind biblioteca `scikit-learn`:
„`python
import numpy ca np
import matplotlib.pyplot ca plt
din sklearn.linear_model import LinearRegression
din sklearn.metrics import mean_squared_error, r2_score
Date
X = np.array([[1], [2], [3], [4], [5]]).astype(np.float64)
y = np.array([1.5, 3.6, 3.5, 2.9, 5.5]).astype(np.float64)
Model
model = LinearRegression ()
model.fit (X, y)
Previziune
y_pred = model.predict (X)
Coeficient
beta_0 = model.intercept_
beta_1 = model.coef_[0]
print(f'Interceptare: {beta_0}')
print(f'Panta: {beta_1}')
print(f'Eroare medie pătratică: {eroare_medie_pătratică(y, y_pred)}')
print(f'Coeficient de determinare (R^2): {r2_score(y, y_pred)}')
Graficul datelor și linia de regresie
plt.scatter(X, y, culoare='albastru')
plt.plot(X, y_pred, color='roșu')
plt.xlabel('X')
plt.ylabel('Y')
plt.show ()
„`
În exemplul de mai sus, importăm mai întâi bibliotecile necesare, definim datele \(X\) și \(Y\), apoi folosim obiectul `LinearRegression` din `scikit-learn` pentru a ajusta un model la date. Odată ce modelul este ajustat, facem predicții și calculăm coeficienții, precum și eroarea medie pătratică și coeficientul de determinare. În cele din urmă, trasăm datele și linia de regresie.
Concluzie
Regresia liniară simplă este un instrument puternic de analiză statistică utilizat pentru a explica relația dintre două variabile cantitative. Cu câteva presupuneri de bază despre liniaritate, independență, homoscedasticitate și normalitate, putem prezice valoarea variabilei dependente pe baza valorilor variabilelor independente. Metoda celor mai mici pătrate oferă o modalitate eficientă de a ajusta o linie de regresie și de a determina parametrii optimi. Evaluarea modelului prin coeficientul de determinare (R2) oferă o perspectivă asupra performanței modelului nostru.
Deși regresia liniară simplă are limitări, cum ar fi posibilitatea de a gestiona doar două variabile și ipotezele care trebuie îndeplinite, această tehnică rămâne o bază importantă în statistică și analiza datelor și este adesea utilizată ca prim pas în înțelegerea relației dintre variabile înainte de a trece la metode mai complexe.
