Jednoduchá lineárna regresná analýza
Jednoduchá lineárna regresia je štatistická technika používaná na analýzu vzťahu medzi dvoma kvantitatívnymi premennými. Premenná, ktorú sa snažíme predpovedať, sa nazýva závislá alebo odozvová premenná, zatiaľ čo premenná použitá na predikciu sa nazýva nezávislá alebo prediktorová premenná. V jednoduchej lineárnej regresii sa snažíme nájsť najlepšiu priamku, ktorá opisuje vzťah medzi týmito dvoma premennými.
Základné koncepty jednoduchej lineárnej regresie
Jednoduchá lineárna regresia je založená na predpoklade, že medzi závislou premennou \(Y\) a nezávislou premennou \(X\) existuje lineárny vzťah. Všeobecný tvar modelu jednoduchej lineárnej regresie je:
Y = \beta_0 + \beta_1 X + \epsilon \]
Ruka:
– \( Y \) je závislá premenná.
– \( X \) je nezávislá premenná.
– \( \beta_0 \) je priesečník s osou osi Y, čo je hodnota \(Y\), keď \(X = 0\).
– \( \beta_1 \) je sklon alebo gradient, čo je priemerná zmena \(Y\) pre každú jednotkovú zmenu \(X\).
– \( \epsilon \) je chyba alebo reziduálny člen, ktorý predstavuje variabilitu v \(Y\), ktorú nemožno vysvetliť pomocou \(X\).
Cieľom jednoduchej lineárnej regresie je odhadnúť parametre \(\beta_0\) a \(\beta_1\) tak, aby sa model dal použiť na predpovedanie hodnoty \(Y\) spojenej s hodnotou \(X\).
Metóda najmenších štvorcov
Jednou z najbežnejšie používaných metód na fitovanie jednoduchého lineárneho regresného modelu je metóda najmenších štvorcov. Cieľom tejto metódy je minimalizovať súčet štvorcov vertikálnych odchýlok medzi skutočnými pozorovaniami a hodnotami predpovedanými modelom. Predpokladajme, že máme n pozorovaní pozostávajúcich z párov \((x_i, y_i)\) pre \(i = 1, 2, …, n\). Funkcia, ktorá sa má minimalizovať, je:
S(β0, β1) = súčet i=1 n (yi – (β0 + β1 xi))²
Aby sme našli \(\beta_0\) a \(\beta_1\), ktoré minimalizujú túto funkciu, vezmeme parciálne derivácie \(S(\beta_0, \beta_1)\) vzhľadom na každý parameter a nastavíme tieto derivácie na nulu. Matematický výpočet možno zjednodušiť takto:
\[ \beta_1 = \frac{\suma_{i=1}^{n} (x_i – \bar{x})(y_i – \bar{y})}{\suma_{i=1}^{n} (x_i – \bar{x})^2} \]
\[ \beta_0 = \bar{y} – \beta_1 \bar{x} \]
Ruka:
– \(\bar{x}\) je priemer \(X\)
– \(\bar{y}\) je priemer \(Y\)
Po získaní parametrov \(\beta_0\) a \(\beta_1\) je možné na predpovedanie hodnoty \(Y\) pre každú hodnotu \(X\) použiť jednoduchý lineárny regresný model.
Predpoklady v jednoduchej lineárnej regresii
Pre platné a spoľahlivé výsledky jednoduchá lineárna regresia predpokladá niekoľko vecí:
1. Linearita: Vzťah medzi závislou premennou a nezávislou premennou musí byť lineárny.
2. Nezávislosť: Pozorovania musia byť od seba nezávislé.
3. Homoskedasticita: Zvyšková variabilita musí byť konštantná v celom rozsahu hodnôt nezávislej premennej.
4. Normálnosť rezíduí: Rezíduá (chyby) musia zodpovedať normálnemu rozdeleniu.
Ak tieto predpoklady nie sú splnené, výsledky jednoduchého lineárneho regresného modelu budú nespoľahlivé a nemusia byť schopné poskytnúť presné predpovede.
Hodnotenie regresného modelu
Jedným zo spôsobov, ako posúdiť, ako dobre predpovedal jednoduchý lineárny regresný model, je použiť koeficient determinácie (\(R^2\)). Koeficient determinácie ukazuje podiel variability v závislej premennej, ktorý možno vysvetliť variabilitou v nezávislých premenných.
\[ R^2 = \frac{\suma_{i=1}^{n} (\hat{y}_i – \bar{y})^2}{\suma_{i=1}^{n} (y_i – \bar{y})^2} \]
Ruka:
– \(\hat{y}_i\) je predpokladaná hodnota \(Y\).
– \(y_i\) je skutočná hodnota \(Y\).
– \(\bar{y}\) je priemer hodnôt \(Y\).
Hodnota \(R^2\) sa pohybuje od 0 do 1. Hodnota \(R^2\) blízka 1 naznačuje, že model dokáže vysvetliť väčšinu variability v závislej premennej.
Implementácia v programovacom jazyku
Na implementáciu jednoduchej lineárnej regresie môžeme použiť rôzne štatistické softvéry alebo programovacie jazyky. Nižšie je uvedený príklad implementácie v jazyku Python s použitím knižnice `scikit-learn`:
"Python."
import numpy ako np
import matplotlib.pyplot as plt
z importu lineárnej regresie sklearn.linear_model
z importu sklearn.metrics mean_squared_error, r2_score
dátum
X = np.array([[1], [2], [3], [4], [5]]).atype(np.float64)
y = np.array([1.5, 3.6, 3.5, 2.9, 5.5]).atype(np.float64)
Modelka
model = LineárnaRegresia()
model.fit(X, y)
Predpoveď
y_pred = model.predict(X)
Koeficient
beta_0 = model.zachytenie_
beta_1 = model.koeficient_[0]
print(f'Zachytenie: {beta_0}')
print(f'Sklon: {beta_1}')
print(f'Stredná kvadratická chyba: {stredná_kvadratická_chyba(y, y_pred)}')
print(f'Koeficient determinácie (R^2): {r2_score(y, y_pred)}')
Dátový graf a regresná priamka
plt.scatter(X, y, farba='modrá')
plt.plot(X, y_pred, farba='červená')
plt.xlabel('X')
plt.ylabel('Y')
plt.show()
"`
Vo vyššie uvedenom príklade najprv importujeme potrebné knižnice, definujeme dáta \(X\) a \(Y\) a potom použijeme objekt `LinearRegression` zo `scikit-learn` na prispôsobenie modelu dátam. Po prispôsobení modelu vykonáme predpovede a vypočítame koeficienty, ako aj strednú kvadratickú chybu a koeficient determinácie. Nakoniec vykreslíme dáta a regresnú priamku.
Záver
Jednoduchá lineárna regresia je výkonný nástroj štatistickej analýzy používaný na vysvetlenie vzťahu medzi dvoma kvantitatívnymi premennými. S niektorými základnými predpokladmi o linearite, nezávislosti, homoskedasticite a normalite môžeme predpovedať hodnotu závislej premennej na základe hodnôt nezávislých premenných. Metóda najmenších štvorcov poskytuje efektívny spôsob, ako zostrojiť regresnú priamku a určiť optimálne parametre. Vyhodnotenie modelu pomocou koeficientu determinácie (R2) poskytuje prehľad o tom, ako dobre si náš model vedie.
Hoci jednoduchá lineárna regresia má svoje obmedzenia, ako napríklad schopnosť spracovať iba dve premenné a predpoklady, ktoré musia byť splnené, táto technika zostáva dôležitým základom v štatistike a analýze údajov a často sa používa ako prvý krok k pochopeniu vzťahu medzi premennými pred prechodom na zložitejšie metódy.
