Enkel linjär regressionsanalys
Enkel linjär regression är en statistisk teknik som används för att analysera sambandet mellan två kvantitativa variabler. Variabeln vi försöker förutsäga kallas den beroende variabeln eller responsvariabeln, medan variabeln som används för att göra förutsägelsen kallas den oberoende variabeln eller prediktorvariabeln. I enkel linjär regression försöker vi hitta den bästa raka linjen som beskriver sambandet mellan dessa två variabler.
Grundläggande begrepp inom enkel linjär regression
Enkel linjär regression baseras på antagandet att det finns ett linjärt samband mellan den beroende variabeln Y och den oberoende variabeln X. Den allmänna formen av en enkel linjär regressionsmodell är:
\[ Y = β₀ + β₁ X + E]
Din mana:
– \(Y \) är den beroende variabeln.
– \(X \) är den oberoende variabeln.
– \( \β_0 \) är skärningspunkten, vilket är värdet av \(Y\) när \(X = 0\).
– \( \β_1 \) är lutningen eller gradienten, vilket är den genomsnittliga förändringen i \(Y\) för varje enhetsförändring i \(X\).
– \( \epsilon \) är feltermen eller residualtermen som representerar den variabilitet i \(Y\) som inte kan förklaras med \(X\).
Målet med enkel linjär regression är att uppskatta parametrarna β₀ och β₁ så att modellen kan användas för att förutsäga värdet på β₀ i samband med värdet på β₀.
Minsta kvadratmetoden
En av de vanligaste metoderna för att anpassa en enkel linjär regressionsmodell är minstakvadratmetoden. Denna metod syftar till att minimera summan av kvadraterna av de vertikala avvikelserna mellan de faktiska observationerna och de värden som förutsägs av modellen. Antag att vi har n observationer bestående av par \((x_i, y_i)\) för \(i = 1, 2, …, n\). Funktionen som ska minimeras är:
[ S(β₀, β₁) = \sum_{i=1}^{n} (y_i – (β₀ + β₁ x_i))^2 \]
För att hitta β₀ och β₁ som minimerar denna funktion, tar vi partialderivatorna av S(β₀, β₁) med avseende på varje parameter och sätter dessa derivator till noll. Den matematiska beräkningen kan förenklas enligt följande:
[β₁ = (i=1)^n (x_i – x)(y_i – y)}{i=1)^n (x_i – x)^2]
\[ \beta_0 = \bar{y} – \beta_1 \bar{x} \]
Din mana:
– \(\bar{x}\) är medelvärdet av \(X\)
– \(\bar{y}\) är medelvärdet av \(Y\)
Efter att ha erhållit parametrarna β0 och β1 kan en enkel linjär regressionsmodell användas för att förutsäga värdet på Y för varje värde på X.
Antaganden i enkel linjär regression
För giltiga och tillförlitliga resultat förutsätter enkel linjär regression flera saker:
1. Linjäritet: Sambandet mellan den beroende variabeln och den oberoende variabeln måste vara linjärt.
2. Oberoende: Observationerna måste vara oberoende av varandra.
3. Homoscedasticitet: Den kvarvarande variabiliteten måste vara konstant inom hela värdeintervallet för den oberoende variabeln.
4. Residualnormalitet: Residualer (fel) måste följa en normalfördelning.
Om dessa antaganden inte uppfylls kommer resultaten av en enkel linjär regressionsmodell att vara otillförlitliga och kanske inte kunna ge korrekta förutsägelser.
Bedömning av regressionsmodell
Ett sätt att bedöma hur väl en enkel linjär regressionsmodell har förutspått är att använda determinationskoefficienten (\(R^2\)). Determinationskoefficienten visar andelen variabilitet i den beroende variabeln som kan förklaras av variabiliteten i de oberoende variablerna.
[ R^2 = \frac{\sum_{i=1}^{n} (\hat{y}_i – \bar{y})^2}{\sum_{i=1}^{n} (y_i – \bar{y})^2} \]
Din mana:
– \(\hat{y}_i\) är det förutspådda värdet av \(Y\).
– \(y_i\) är det faktiska värdet av \(Y\).
– \(\bar{y}\) är medelvärdet av värdena för \(Y\).
R₂-värdet varierar från 0 till 1. Ett R₂-värde nära 1 indikerar att modellen kan förklara det mesta av variabiliteten i den beroende variabeln.
Implementering i programmeringsspråk
För att implementera enkel linjär regression kan vi använda olika statistiska programvaror eller programmeringsspråk. Nedan följer ett exempel på en implementering i Python med hjälp av biblioteket `scikit-learn`:
"'python
importera numpy som np
importera matplotlib.pyplot som plt
från sklearn.linear_model import LinearRegression
från sklearn.metrics importera mean_squared_error, r2_score
Data
X = np.array([[1], [2], [3], [4], [5]]).astype(np.float64)
y = np.array([1.5, 3.6, 3.5, 2.9, 5.5]).astype(np.float64)
Modell
modell = Linjär regression ()
model.fit (X, y)
Förutsägelse
y_pred = model.predict (X)
Koefficient
beta_0 = modell.intercept_
beta_1 = modell.coef_[0]
print(f'Intercept: {beta_0}')
print(f'Lutning: {beta_1}')
print(f'Medelkvadratfel: {mean_squared_error(y, y_pred)}')
print(f'Bestämmelsekoefficient (R^2): {r2_score(y, y_pred)}')
Datadiagram och regressionslinje
plt.scatter(X, y, färg='blå')
plt.plot(X, y_pred, färg='röd')
plt.xlabel('X')
plt.ylabel('Y')
plt.show ()
”'
I exemplet ovan importerar vi först de nödvändiga biblioteken, definierar data \(X\) och \(Y\) och använder sedan `LinearRegression`-objektet från `scikit-learn` för att anpassa en modell till data. När modellen är anpassad gör vi förutsägelser och beräknar koefficienterna, såväl som medelkvadratfelet och determinationskoefficienten. Slutligen plottar vi data och regressionslinjen.
slutsats
Enkel linjär regression är ett kraftfullt statistiskt analysverktyg som används för att förklara sambandet mellan två kvantitativa variabler. Med några grundläggande antaganden om linjäritet, oberoende, homoscedasticitet och normalitet kan vi förutsäga värdet på den beroende variabeln baserat på värdena på de oberoende variablerna. Minsta kvadratmetoden ger ett effektivt sätt att anpassa en regressionslinje och bestämma optimala parametrar. Modellutvärdering genom determinationskoefficienten (R2) ger insikt i hur väl vår modell presterar.
Även om enkel linjär regression har begränsningar, såsom att bara kunna hantera två variabler och de antaganden som måste uppfyllas, förblir denna teknik en viktig grund inom statistik och dataanalys, och används ofta som ett första steg för att förstå sambandet mellan variabler innan man går vidare till mer komplexa metoder.
