Egyszerű lineáris regresszióanalízis
Az egyszerű lineáris regresszió egy statisztikai technika, amelyet két mennyiségi változó közötti kapcsolat elemzésére használnak. Az előrejelezni kívánt változót függő vagy válaszváltozónak, míg az előrejelzéshez használt változót független vagy prediktor változónak nevezzük. Az egyszerű lineáris regresszió során megpróbáljuk megtalálni a legjobb egyenest, amely leírja a két változó közötti kapcsolatot.
Az egyszerű lineáris regresszió alapfogalmai
Az egyszerű lineáris regresszió azon a feltételezésen alapul, hogy lineáris kapcsolat van a függő változó (Y) és a független változó (X) között. Az egyszerű lineáris regressziós modell általános alakja:
\[Y = \béta_0 + \béta_1 X + \epsilon \]
Di mana:
– \(Y \) a függő változó.
– \(X \) a független változó.
– \( \beta_0 \) a tengelymetszet, ami az \(Y\) értéke, amikor \(X = 0\).
– \( \beta_1 \) a meredekség vagy gradiens, amely az \(Y\) átlagos változása az \(X\) egységnyi változására.
– Az \( \epsilon \) az a hiba- vagy reziduális tag, amely az \(Y\) változó azon változékonyságát jelöli, amelyet \(X\) nem magyaráz meg.
Az egyszerű lineáris regresszió célja a \(\beta_0\) és \(\beta_1\) paraméterek becslése, hogy a modell felhasználható legyen az \(X\) értékéhez kapcsolódó \(Y\) értékének előrejelzésére.
Legkisebb négyzetek módszere
Az egyszerű lineáris regressziós modellek illesztésére az egyik leggyakrabban használt módszer a legkisebb négyzetek módszere. Ez a módszer a tényleges megfigyelések és a modell által előre jelzett értékek közötti függőleges eltérések négyzetösszegének minimalizálására törekszik. Tegyük fel, hogy n megfigyelésünk van, amelyek \(x_i, y_i)\) párokból állnak \(i = 1, 2, …, n\) esetén. A minimalizálandó függvény:
S(béta_0, béta_1) = ∫_{i=1}^{n} (y_i – (béta_0 + béta_1 x_i))^2]
A függvény minimalizáló \(\beta_0\) és \(\beta_1\) értékeinek megtalálásához az \(S(\beta_0, \beta_1)\) függvény parciális deriváltjait minden paraméterhez viszonyítva nullázzuk. A matematikai számítás a következőképpen egyszerűsíthető:
[ béta_1 = ∫_{i=1}^{n} (x_i – ∫_bar{x})(y_i – ∫_bar{y})}{∫_{i=1}^{n} (x_i – ∫_bar{x})^2} ]
\[ \beta_0 = \bar{y} – \beta_1 \bar{x} \]
Di mana:
– \(\bar{x}\) az \(X\) átlaga
– \(\bar{y}\) az \(Y\) átlaga
A \(\beta_0\) és \(\beta_1\) paraméterek megszerzése után egy egyszerű lineáris regressziós modell segítségével megjósolható az \(Y\) értéke az \(X\) minden egyes értékére.
Feltételezések az egyszerű lineáris regresszióban
Az érvényes és megbízható eredmények érdekében az egyszerű lineáris regresszió számos dolgot feltételez:
1. Linearitás: A függő változó és a független változó közötti kapcsolatnak lineárisnak kell lennie.
2. Függetlenség: A megfigyeléseknek függetleneknek kell lenniük egymástól.
3. Homoskedaszticitás: A reziduális variabilitásnak állandónak kell lennie a független változó értéktartományában.
4. Reziduális normalitás: A reziduálisoknak (hibáknak) normális eloszlást kell követniük.
Ha ezek a feltételezések nem teljesülnek, egy egyszerű lineáris regressziós modell eredményei megbízhatatlanok lesznek, és előfordulhat, hogy nem lesz képes pontos előrejelzéseket tenni.
Regressziós modell értékelése
Egy egyszerű lineáris regressziós modell előrejelzési pontosságának felmérésére az egyik módszer a meghatározási együttható (\(R^2\)) használata. A meghatározási együttható megmutatja, hogy a függő változó változékonyságának az az aránya, amelyet a független változók változékonysága magyarázhat.
[R^2 = \frac{\sum_{i=1}^{n} (\hat{y}_i – \bar{y})^2}{\sum_{i=1}^{n} (y_i – \bar{y})^2} \]
Di mana:
– \(\hat{y}_i\) az \(Y\) előrejelzett értéke.
– \(y_i\) az \(Y\) tényleges értéke.
– \(\bar{y}\) az \(Y\) értékeinek átlaga.
Az \(R^2\) érték 0 és 1 között mozog. Az 1-hez közeli \(R^2\) érték azt jelzi, hogy a modell a függő változó változékonyságának nagy részét meg tudja magyarázni.
Megvalósítás programozási nyelven
Az egyszerű lineáris regresszió megvalósításához különféle statisztikai szoftvereket vagy programozási nyelveket használhatunk. Az alábbiakban egy példa látható a Pythonban történő megvalósításra a `scikit-learn` könyvtár használatával:
"" Python
importálja a numpy-t np-ként
importálja a matplotlib.pyplot fájlt plt-ként
a sklearn.linear_model importból LinearRegression
innen: sklearn.metrics import mean_squared_error, r2_score
dátum
X = np.array([[1], [2], [3], [4], [5]]).astype(np.float64)
y = np.array([1.5, 3.6, 3.5, 2.9, 5.5]).astype(np.float64)
Modell
modell = Lineáris regresszió ()
modell.illeszkedés(X, y)
Előrejelzés
y_pred = modell.előrejelzés(X)
Együttható
béta_0 = modell.metszet_
béta_1 = modell.együttható_[0]
print(f'Elfogás: {béta_0}')
print(f'Meredekség: {béta_1}')
print(f'Átlagos négyzetes hiba: {mean_squared_error(y, y_pred)}')
print(f'Megállapítási együttható (R^2): {r2_score(y, y_pred)}')
Adatdiagram és regressziós egyenes
plt.scatter(X, y, szín='kék')
plt.plot(X, y_előre, szín='piros')
plt.xlabel('X')
plt.ylabel('Y')
plt.show ()
""
A fenti példában először importáljuk a szükséges könyvtárakat, definiáljuk az \(X\) és \(Y\) adatokat, majd a `scikit-learn` `LinearRegression` objektumát használjuk egy modellnek az adatokhoz való illesztéséhez. Miután a modell illesztése megtörtént, előrejelzéseket készítünk, és kiszámítjuk az együtthatókat, valamint az átlagos négyzetes hibát és a meghatározási együtthatót. Végül ábrázoljuk az adatokat és a regressziós egyenest.
Következtetés
Az egyszerű lineáris regresszió egy hatékony statisztikai elemzőeszköz, amely két kvantitatív változó közötti kapcsolat magyarázatára szolgál. A linearitással, függetlenséggel, homoszkedaszticitással és normalitással kapcsolatos néhány alapvető feltételezéssel a független változók értékei alapján megjósolhatjuk a függő változó értékét. A legkisebb négyzetek módszere hatékony módot kínál a regressziós egyenes illesztésére és az optimális paraméterek meghatározására. A modellértékelés a meghatározási együtthatón (R2) keresztül betekintést nyújt abba, hogy mennyire jól teljesít a modellünk.
Bár az egyszerű lineáris regressziónak vannak korlátai, például hogy csak két változót képes kezelni, és a teljesülnie kell a feltételezéseknek, ez a technika továbbra is fontos alapja a statisztikában és az adatelemzésben, és gyakran használják első lépésként a változók közötti kapcsolatok megértéséhez, mielőtt továbblépnénk az összetettebb módszerekre.
