Simpel lineær regressionsanalyse
Simpel lineær regression er en statistisk teknik, der bruges til at analysere forholdet mellem to kvantitative variabler. Den variabel, vi forsøger at forudsige, kaldes den afhængige variabel eller responsvariabel, mens den variabel, der bruges til at lave forudsigelsen, kaldes den uafhængige variabel eller prædiktorvariabel. I simpel lineær regression forsøger vi at finde den bedste rette linje, der beskriver forholdet mellem disse to variabler.
Grundlæggende begreber inden for simpel lineær regression
Simpel lineær regression er baseret på antagelsen om, at der er en lineær sammenhæng mellem den afhængige variabel \(Y\) og den uafhængige variabel \(X\). Den generelle form for en simpel lineær regressionsmodel er:
[Y = β₀ + β₁ X + E]
Din mand:
– \(Y \) er den afhængige variabel.
– \(X \) er den uafhængige variabel.
– \( \β_0 \) er skæringspunktet, som er værdien af \(Y\) når \(X = 0\).
– \( \β_1 \) er hældningen eller gradienten, som er den gennemsnitlige ændring i \(Y\) for hver enhedsændring i \(X\).
– \( \epsilon \) er fejlleddet eller residualleddet, der repræsenterer den variabilitet i \(Y\), som ikke kan forklares med \(X\).
Målet med simpel lineær regression er at estimere parametrene β0 og β1, så modellen kan bruges til at forudsige værdien af Y forbundet med værdien af X.
Mindste kvadraters metode
En af de mest almindeligt anvendte metoder til at tilpasse en simpel lineær regressionsmodel er mindste kvadraters metode. Denne metode sigter mod at minimere summen af kvadraterne af de vertikale afvigelser mellem de faktiske observationer og de værdier, der forudsiges af modellen. Antag, at vi har n observationer bestående af par \((x_i, y_i)\) for \(i = 1, 2, …, n\). Funktionen, der skal minimeres, er:
[S(β₀, β₁) = \sum_{i=1}^{n} (y_i – (β₀ + β₁ x_i))^2 \]
For at finde β₀ og β₁, der minimerer denne funktion, tager vi de partielle afledte af S(β₀, β₁) for hver parameter og sætter disse afledte til nul. Den matematiske beregning kan forenkles som følger:
[β1 = (sum_{i=1}^{n})(x_i – x)(y_i – y)}{sum_{i=1}^{n} (x_i – x)^2)]
\[ \beta_0 = \bar{y} – \beta_1 \bar{x} \]
Din mand:
– \(\bar{x}\) er gennemsnittet af \(X\)
– \(\bar{y}\) er gennemsnittet af \(Y\)
Efter at have opnået parametrene β0 og β1, kan en simpel lineær regressionsmodel bruges til at forudsige værdien af Y for hver værdi af X.
Antagelser i simpel lineær regression
For at opnå gyldige og pålidelige resultater antager simpel lineær regression flere ting:
1. Linearitet: Forholdet mellem den afhængige variabel og den uafhængige variabel skal være lineært.
2. Uafhængighed: Observationer skal være uafhængige af hinanden.
3. Homoscedasticitet: Den residuelle variabilitet skal være konstant i hele værdiområdet for den uafhængige variabel.
4. Residualnormalitet: Residualer (fejl) skal følge en normalfordeling.
Hvis disse antagelser ikke er opfyldt, vil resultaterne af en simpel lineær regressionsmodel være upålidelige og muligvis ikke i stand til at give nøjagtige forudsigelser.
Vurdering af regressionsmodellen
En måde at vurdere, hvor godt en simpel lineær regressionsmodel har forudsagt, er at bruge determinationskoefficienten (\(R^2\)). Determinationskoefficienten viser andelen af variabilitet i den afhængige variabel, der kan forklares af variabiliteten i de uafhængige variabler.
[ R^2 = \frac{\sum_{i=1}^{n} (\hat{y}_i – \bar{y})^2}{\sum_{i=1}^{n} (y_i – \bar{y})^2} \]
Din mand:
– \(\hat{y}_i\) er den forudsagte værdi af \(Y\).
– \(y_i\) er den faktiske værdi af \(Y\).
– \(\bar{y}\) er gennemsnittet af værdierne for \(Y\).
R²-værdien går fra 0 til 1. En R²-værdi tæt på 1 indikerer, at modellen kan forklare det meste af variabiliteten i den afhængige variabel.
Implementering i programmeringssprog
For at implementere simpel lineær regression kan vi bruge forskellige statistiske softwareprogrammer eller programmeringssprog. Nedenfor er et eksempel på en implementering i Python ved hjælp af `scikit-learn`-biblioteket:
"'python
importer numpy som np
importer matplotlib.pyplot som plt
fra sklearn.linear_model importer LinearRegression
fra sklearn.metrics importer mean_squared_error, r2_score
Data
X = np.array([[1], [2], [3], [4], [5]]).astype(np.float64)
y = np.array([1.5, 3.6, 3.5, 2.9, 5.5]).astype(np.float64)
Model
model = Lineær regression ()
model.fit (X, y)
Forudsigelse
y_pred = model.predict (X)
Koefficient
beta_0 = model.intercept_
beta_1 = model.coef_[0]
print(f'Intercept: {beta_0}')
print(f'Hældning: {beta_1}')
print(f'Gennemsnitlig kvadreret fejl: {gennemsnitlig_kvadreret_fejl(y, y_forudsagt)}')
print(f'Bestemmelseskoefficient (R^2): {r2_score(y, y_pred)}')
Dataplot og regressionslinje
plt.scatter(X, y, farve='blå')
plt.plot(X, y_pred, farve='rød')
plt.xlabel('X')
plt.ylabel('Y')
plt.show ()
”`
I eksemplet ovenfor importerer vi først de nødvendige biblioteker, definerer dataene \(X\) og \(Y\), og bruger derefter `LinearRegression`-objektet fra `scikit-learn` til at tilpasse en model til dataene. Når modellen er tilpasset, laver vi forudsigelser og beregner koefficienterne, samt den gennemsnitlige kvadrerede fejl og determinationskoefficienten. Til sidst plotter vi dataene og regressionslinjen.
Konklusion
Simpel lineær regression er et effektivt statistisk analyseværktøj, der bruges til at forklare forholdet mellem to kvantitative variabler. Med nogle grundlæggende antagelser om linearitet, uafhængighed, homoscedasticitet og normalitet kan vi forudsige værdien af den afhængige variabel baseret på værdierne af de uafhængige variabler. Mindste kvadraters metode giver en effektiv måde at tilpasse en regressionslinje og bestemme optimale parametre. Modelevaluering gennem determinationskoefficienten (R2) giver indsigt i, hvor godt vores model klarer sig.
Selvom simpel lineær regression har begrænsninger, såsom kun at kunne håndtere to variabler og de antagelser, der skal opfyldes, forbliver denne teknik et vigtigt fundament i statistik og dataanalyse og bruges ofte som et første skridt i at forstå forholdet mellem variabler, før man går videre til mere komplekse metoder.
