Einfache lineare Regressionsanalyse
Die einfache lineare Regression ist ein statistisches Verfahren zur Analyse des Zusammenhangs zwischen zwei quantitativen Variablen. Die Variable, die vorhergesagt werden soll, wird als abhängige Variable oder Zielvariable bezeichnet, während die Variable, die zur Vorhersage verwendet wird, als unabhängige Variable oder Prädiktorvariable bezeichnet wird. Bei der einfachen linearen Regression wird versucht, die optimale Gerade zu finden, die den Zusammenhang zwischen diesen beiden Variablen beschreibt.
Grundbegriffe der einfachen linearen Regression
Die einfache lineare Regression basiert auf der Annahme, dass ein linearer Zusammenhang zwischen der abhängigen Variablen \(Y\) und der unabhängigen Variablen \(X\) besteht. Die allgemeine Form eines einfachen linearen Regressionsmodells lautet:
\[ Y = \beta_0 + \beta_1 X + \epsilon \]
Von Mana:
– \( Y \) ist die abhängige Variable.
– \( X \) ist die unabhängige Variable.
– \( \beta_0 \) ist der Achsenabschnitt, der dem Wert von \(Y\) entspricht, wenn \(X = 0\).
– \( \beta_1 \) ist die Steigung bzw. der Gradient, der die durchschnittliche Änderung in \(Y\) für jede Einheit Änderung in \(X\) angibt.
– \( \epsilon \) ist der Fehler- oder Restterm, der die Variabilität in \(Y\) darstellt, die nicht durch \(X\) erklärt werden kann.
Ziel der einfachen linearen Regression ist es, die Parameter \(\beta_0\) und \(\beta_1\) so zu schätzen, dass das Modell verwendet werden kann, um den Wert von \(Y\) vorherzusagen, der mit dem Wert von \(X\) verbunden ist.
Methode der kleinsten Quadrate
Eine der gebräuchlichsten Methoden zur Anpassung eines einfachen linearen Regressionsmodells ist die Methode der kleinsten Quadrate. Diese Methode zielt darauf ab, die Summe der Quadrate der vertikalen Abweichungen zwischen den tatsächlichen Beobachtungen und den vom Modell vorhergesagten Werten zu minimieren. Angenommen, wir haben n Beobachtungen, bestehend aus Paaren \((x_i, y_i)\) für \(i = 1, 2, …, n\). Die zu minimierende Funktion lautet:
\[ S(\beta_0, \beta_1) = \sum_{i=1}^{n} (y_i – (\beta_0 + \beta_1 x_i))^2 \]
Um die Parameter \(\beta_0\) und \(\beta_1\) zu finden, die diese Funktion minimieren, bilden wir die partiellen Ableitungen von \(S(\beta_0, \beta_1)\) nach jedem Parameter und setzen diese Ableitungen gleich null. Die mathematische Berechnung lässt sich wie folgt vereinfachen:
\[ \beta_1 = \frac{\sum_{i=1}^{n} (x_i – \bar{x})(y_i – \bar{y})}{\sum_{i=1}^{n} (x_i – \bar{x})^2} \]
\[ \beta_0 = \bar{y} – \beta_1 \bar{x} \]
Von Mana:
– \(\bar{x}\) ist der Mittelwert von \(X\)
– \(\bar{y}\) ist der Mittelwert von \(Y\)
Nach der Ermittlung der Parameter \(\beta_0\) und \(\beta_1\) kann ein einfaches lineares Regressionsmodell verwendet werden, um den Wert von \(Y\) für jeden Wert von \(X\) vorherzusagen.
Annahmen bei der einfachen linearen Regression
Für gültige und zuverlässige Ergebnisse setzt die einfache lineare Regression einige Dinge voraus:
1. Linearität: Die Beziehung zwischen der abhängigen und der unabhängigen Variablen muss linear sein.
2. Unabhängigkeit: Die Beobachtungen müssen voneinander unabhängig sein.
3. Homoskedastizität: Die Restvariabilität muss über den gesamten Wertebereich der unabhängigen Variablen konstant sein.
4. Residuennormalität: Die Residuen (Fehler) müssen einer Normalverteilung folgen.
Werden diese Voraussetzungen nicht erfüllt, sind die Ergebnisse eines einfachen linearen Regressionsmodells unzuverlässig und können keine genauen Vorhersagen treffen.
Bewertung des Regressionsmodells
Eine Möglichkeit, die Vorhersagekraft eines einfachen linearen Regressionsmodells zu beurteilen, ist die Verwendung des Bestimmtheitsmaßes (R²). Das Bestimmtheitsmaß gibt den Anteil der Variabilität der abhängigen Variable an, der durch die Variabilität der unabhängigen Variablen erklärt werden kann.
\[ R^2 = \frac{\sum_{i=1}^{n} (\hat{y}_i – \bar{y})^2}{\sum_{i=1}^{n} (y_i – \bar{y})^2} \]
Von Mana:
– \(\hat{y}_i\) ist der vorhergesagte Wert von \(Y\).
– \(y_i\) ist der tatsächliche Wert von \(Y\).
– \(\bar{y}\) ist der Durchschnitt der Werte von \(Y\).
Der \(R^2\)-Wert liegt zwischen 0 und 1. Ein \(R^2\)-Wert nahe 1 bedeutet, dass das Modell den größten Teil der Variabilität der abhängigen Variablen erklären kann.
Implementierung in der Programmiersprache
Zur Durchführung einer einfachen linearen Regression können verschiedene Statistikprogramme oder Programmiersprachen verwendet werden. Nachfolgend ein Beispiel für die Implementierung in Python unter Verwendung der `scikit-learn`-Bibliothek:
„Python
numpy als np importieren
importiere matplotlib.pyplot als plt
aus sklearn.linear_model import LinearRegression
aus sklearn.metrics importiere mean_squared_error, r2_score
Datum
X = np.array([[1], [2], [3], [4], [5]]).astype(np.float64)
y = np.array([1.5, 3.6, 3.5, 2.9, 5.5]).astype(np.float64)
Modell
Modell = LinearRegression ()
model.fit (X, y)
Prognose
y_pred = model.predict (X)
Koeffizient
beta_0 = model.intercept_
beta_1 = model.coef_[0]
print(f'Intercept: {beta_0}')
print(f'Steigung: {beta_1}')
print(f'Mittlerer quadratischer Fehler: {mean_squared_error(y, y_pred)}')
print(f'Bestimmtheitsmaß (R^2): {r2_score(y, y_pred)}')
Datendiagramm und Regressionsgerade
plt.scatter(X, y, color='blue')
plt.plot(X, y_pred, color='red')
plt.xlabel('X')
plt.ylabel('Y')
plt.show ()
“`
Im obigen Beispiel importieren wir zunächst die benötigten Bibliotheken, definieren die Daten \(X\) und \(Y\) und verwenden dann das `LinearRegression`-Objekt aus `scikit-learn`, um ein Modell an die Daten anzupassen. Sobald das Modell angepasst ist, treffen wir Vorhersagen und berechnen die Koeffizienten sowie den mittleren quadratischen Fehler und das Bestimmtheitsmaß. Abschließend stellen wir die Daten und die Regressionsgerade grafisch dar.
Abschluss
Die einfache lineare Regression ist ein leistungsstarkes statistisches Analyseverfahren zur Erklärung des Zusammenhangs zwischen zwei quantitativen Variablen. Unter der Voraussetzung von Linearität, Unabhängigkeit, Homoskedastizität und Normalverteilung lässt sich der Wert der abhängigen Variablen anhand der Werte der unabhängigen Variablen vorhersagen. Die Methode der kleinsten Quadrate ermöglicht die effektive Anpassung einer Regressionsgeraden und die Bestimmung optimaler Parameter. Die Modellbewertung mittels des Bestimmtheitsmaßes (R²) gibt Aufschluss über die Güte des Modells.
Obwohl die einfache lineare Regression Einschränkungen hat, wie zum Beispiel die Beschränkung auf zwei Variablen und die zu erfüllenden Annahmen, bleibt diese Technik eine wichtige Grundlage in der Statistik und Datenanalyse und wird oft als erster Schritt zum Verständnis der Beziehung zwischen Variablen eingesetzt, bevor man zu komplexeren Methoden übergeht.
