Enkel lineær regresjonsanalyse
Enkel lineær regresjon er en statistisk teknikk som brukes til å analysere forholdet mellom to kvantitative variabler. Variabelen vi prøver å forutsi kalles den avhengige variabelen eller responsvariabelen, mens variabelen som brukes til å lage forutsigelsen kalles den uavhengige variabelen eller prediktorvariabelen. I enkel lineær regresjon prøver vi å finne den beste rette linjen som beskriver forholdet mellom disse to variablene.
Grunnleggende konsepter innen enkel lineær regresjon
Enkel lineær regresjon er basert på antagelsen om at det er en lineær sammenheng mellom den avhengige variabelen \(Y\) og den uavhengige variabelen \(X\). Den generelle formen for en enkel lineær regresjonsmodell er:
\[Y = β₀ + β₁ X + E]
Di mana:
– \(Y \) er den avhengige variabelen.
– \(X \) er den uavhengige variabelen.
– \( \β_0 \) er skjæringspunktet, som er verdien av \(Y\) når \(X = 0\).
– \( \β_1 \) er stigningstallene eller gradienten, som er den gjennomsnittlige endringen i \(Y\) for hver enhetsendring i \(X\).
– \( \epsilon \) er feilleddet eller restleddet som representerer variasjonen i \(Y\) som ikke kan forklares med \(X\).
Målet med enkel lineær regresjon er å estimere parameterne β₀ og β₁, slik at modellen kan brukes til å forutsi verdien av Y assosiert med verdien av X.
Minste kvadraters metode
En av de mest brukte metodene for å tilpasse en enkel lineær regresjonsmodell er minste kvadraters metode. Denne metoden tar sikte på å minimere summen av kvadratene av de vertikale avvikene mellom de faktiske observasjonene og verdiene som er forutsagt av modellen. Anta at vi har n observasjoner som består av par \((x_i, y_i)\) for \(i = 1, 2, …, n\). Funksjonen som skal minimeres er:
[S(β₀, β₁) = \sum_{i=1}^{n} (y_i – (β₀ + β₁ x_i))^2 \]
For å finne β₀ og β₁ som minimerer denne funksjonen, tar vi partielle deriverte av S(β₀, β₁) med hensyn til hver parameter og setter disse deriverte til null. Den matematiske beregningen kan forenkles som følger:
[β₁ = (sum_{i=1}^{n})(x_i – \bar{x})(y_i – \bar{y})}{sum_{i=1}^{n} (x_i – \bar{x})^2}]
\[ \beta_0 = \bar{y} – \beta_1 \bar{x} \]
Di mana:
– \(\bar{x}\) er gjennomsnittet av \(X\)
– \(\bar{y}\) er gjennomsnittet av \(Y\)
Etter å ha innhentet parameterne β0 og β1, kan en enkel lineær regresjonsmodell brukes til å forutsi verdien av Y for hver verdi av X.
Antagelser i enkel lineær regresjon
For gyldige og pålitelige resultater forutsetter enkel lineær regresjon flere ting:
1. Linearitet: Forholdet mellom den avhengige variabelen og den uavhengige variabelen må være lineært.
2. Uavhengighet: Observasjoner må være uavhengige av hverandre.
3. Homoskedastisitet: Den resterende variabiliteten må være konstant i hele verdiområdet til den uavhengige variabelen.
4. Residualnormalitet: Residualer (feil) må følge en normalfordeling.
Hvis disse forutsetningene ikke er oppfylt, vil resultatene av en enkel lineær regresjonsmodell være upålitelige og kanskje ikke i stand til å gi nøyaktige forutsigelser.
Vurdering av regresjonsmodell
En måte å vurdere hvor godt en enkel lineær regresjonsmodell har predikert, er å bruke determinasjonskoeffisienten (\(R^2\)). Determinasjonskoeffisienten viser andelen av variasjon i den avhengige variabelen som kan forklares av variasjonen i de uavhengige variablene.
[ R^2 = \frac{\sum_{i=1}^{n} (\hat{y}_i – \bar{y})^2}{\sum_{i=1}^{n} (y_i – \bar{y})^2} \]
Di mana:
– \(\hat{y}_i\) er den predikerte verdien av \(Y\).
– \(y_i\) er den faktiske verdien av \(Y\).
– \(\bar{y}\) er gjennomsnittet av verdiene til \(Y\).
R²-verdien går fra 0 til 1. En R²-verdi nær 1 indikerer at modellen kan forklare mesteparten av variasjonen i den avhengige variabelen.
Implementering i programmeringsspråk
For å implementere enkel lineær regresjon kan vi bruke diverse statistiske programmeringsspråk eller programmeringsspråk. Nedenfor er et eksempel på en implementering i Python ved bruk av `scikit-learn`-biblioteket:
"Python
importer nummen som np
importer matplotlib.pyplot som plt
fra sklearn.linear_model import Lineærregresjon
fra sklearn.metrics importer mean_squared_error, r2_score
Data
X = np.array([[1], [2], [3], [4], [5]]).astype(np.float64)
y = np.array([1.5, 3.6, 3.5, 2.9, 5.5]).astype(np.float64)
Modell
modell = Lineærregresjon()
modell.tilpass(X, y)
Forutsigelse
y_pred = modell.predict(X)
Koeffisient
beta_0 = modell.skjæringspunkt_
beta_1 = modell.koef_[0]
print(f'Intercept: {beta_0}')
print(f'Stigning: {beta_1}')
print(f'Gjennomsnittlig kvadratfeil: {gjennomsnittlig_kvadratfeil(y, y_forutsigelse)}')
print(f'Bestemthetskoeffisient (R^2): {r2_score(y, y_pred)}')
Dataplott og regresjonslinje
plt.scatter(X, y, farge='blå')
plt.plot(X, y_pred, farge='rød')
plt.xlabel('X')
plt.ylabel('Y')
plt.show ()
“
I eksemplet ovenfor importerer vi først de nødvendige bibliotekene, definerer dataene \(X\) og \(Y\), og bruker deretter `LinearRegression`-objektet fra `scikit-learn` til å tilpasse en modell til dataene. Når modellen er tilpasset, lager vi prediksjoner og beregner koeffisientene, samt gjennomsnittlig kvadratisk feil og bestemmelseskoeffisient. Til slutt plotter vi dataene og regresjonslinjen.
Konklusjon
Enkel lineær regresjon er et kraftig statistisk analyseverktøy som brukes til å forklare forholdet mellom to kvantitative variabler. Med noen grunnleggende antagelser om linearitet, uavhengighet, homoskedastisitet og normalitet, kan vi forutsi verdien av den avhengige variabelen basert på verdiene til de uavhengige variablene. Minste kvadraters metode gir en effektiv måte å tilpasse en regresjonslinje og bestemme optimale parametere. Modellevaluering gjennom bestemmelseskoeffisienten (R2) gir innsikt i hvor godt modellen vår yter.
Selv om enkel lineær regresjon har begrensninger, som for eksempel bare å kunne håndtere to variabler og forutsetningene som må oppfylles, er denne teknikken fortsatt et viktig grunnlag i statistikk og dataanalyse, og brukes ofte som et første skritt i å forstå forholdet mellom variabler før man går videre til mer komplekse metoder.
