Jednostavna linearna regresijska analiza
Jednostavna linearna regresija je statistička tehnika koja se koristi za analizu odnosa između dvije kvantitativne varijable. Varijabla koju pokušavamo predvidjeti naziva se zavisna ili odzivna varijabla, dok se varijabla koja se koristi za predviđanje naziva nezavisna ili prediktorska varijabla. U jednostavnoj linearnoj regresiji pokušavamo pronaći najbolju ravnu liniju koja opisuje odnos između ove dvije varijable.
Osnovni koncepti jednostavne linearne regresije
Jednostavna linearna regresija temelji se na pretpostavci da postoji linearni odnos između zavisne varijable \(Y\) i nezavisne varijable \(X\). Opći oblik modela jednostavne linearne regresije je:
\[ Y = \beta_0 + \beta_1 X + \epsilon \]
Gdje:
– \( Y \) je zavisna varijabla.
– \( X \) je nezavisna varijabla.
– \( \beta_0 \) je odsječak na osi ose, što je vrijednost \(Y\) kada \(X = 0\).
– \( \beta_1 \) je nagib ili gradijent, što je prosječna promjena u \(Y\) za svaku jediničnu promjenu u \(X\).
– \( \epsilon \) je pogreška ili rezidualni član koji predstavlja varijabilnost u \(Y\) koju ne može objasniti s \(X\).
Cilj jednostavne linearne regresije je procijeniti parametre \(\beta_0\) i \(\beta_1\) tako da se model može koristiti za predviđanje vrijednosti \(Y\) povezane s vrijednošću \(X\).
Metoda najmanjih kvadrata
Jedna od najčešće korištenih metoda za prilagođavanje jednostavnog linearnog regresijskog modela je metoda najmanjih kvadrata. Cilj ove metode je minimizirati zbroj kvadrata vertikalnih odstupanja između stvarnih opažanja i vrijednosti koje predviđa model. Pretpostavimo da imamo n opažanja koja se sastoje od parova \((x_i, y_i)\) za \(i = 1, 2, …, n\). Funkcija koju treba minimizirati je:
S(β0, β1) = suma i=1^{n} (yi – (β0 + β1xi))^2]
Kako bismo pronašli \(\beta_0\) i \(\beta_1\) koji minimiziraju ovu funkciju, uzimamo parcijalne derivacije \(S(\beta_0, \beta_1)\) s obzirom na svaki parametar i postavljamo te derivacije na nulu. Matematički izračun može se pojednostaviti na sljedeći način:
\[ \beta_1 = \frac{\suma_{i=1}^{n} (x_i – \bar{x})(y_i – \bar{y})}{\suma_{i=1}^{n} (x_i – \bar{x})^2} \]
\[ \beta_0 = \bar{y} – \beta_1 \bar{x} \]
Gdje:
– \(\bar{x}\) je prosjek od \(X\)
– \(\bar{y}\) je prosjek od \(Y\)
Nakon dobivanja parametara \(\beta_0\) i \(\beta_1\), jednostavan linearni regresijski model može se koristiti za predviđanje vrijednosti \(Y\) za svaku vrijednost \(X\).
Pretpostavke u jednostavnoj linearnoj regresiji
Za valjane i pouzdane rezultate, jednostavna linearna regresija pretpostavlja nekoliko stvari:
1. Linearnost: Odnos između zavisne i nezavisne varijable mora biti linearan.
2. Neovisnost: Opažanja moraju biti međusobno neovisna.
3. Homoskedastičnost: Preostala varijabilnost mora biti konstantna u cijelom rasponu vrijednosti nezavisne varijable.
4. Normalnost reziduala: Reziduali (pogreške) moraju slijediti normalnu distribuciju.
Ako se te pretpostavke ne ispune, rezultati jednostavnog linearnog regresijskog modela bit će nepouzdani i možda neće moći dati točna predviđanja.
Procjena regresijskog modela
Jedan od načina za procjenu koliko je dobro predvidio jednostavan linearni regresijski model je korištenje koeficijenta determinacije (\(R^2\)). Koeficijent determinacije pokazuje udio varijabilnosti u zavisnoj varijabli koji se može objasniti varijabilnosti u nezavisnim varijablama.
\[ R^2 = \frac{\sum_{i=1}^{n} (\hat{y}_i – \bar{y})^2}{\sum_{i=1}^{n} (y_i – \bar{y})^2} \]
Gdje:
– \(\hat{y}_i\) je predviđena vrijednost \(Y\).
– \(y_i\) je stvarna vrijednost \(Y\).
– \(\bar{y}\) je prosjek vrijednosti \(Y\).
Vrijednost \(R^2\) kreće se od 0 do 1. Vrijednost \(R^2\) blizu 1 ukazuje na to da model može objasniti većinu varijabilnosti u zavisnoj varijabli.
Implementacija u programskom jeziku
Za implementaciju jednostavne linearne regresije možemo koristiti razne statističke softvere ili programske jezike. U nastavku je primjer implementacije u Pythonu korištenjem biblioteke `scikit-learn`:
“`python
uvoz numpy kao np
uvesti matplotlib.pyplot kao plt
iz sklearn.linear_model uvoz LinearnaRegresija
iz sklearn.metrics uvozi srednja_kvadratna_greška, r2_score
Datum
X = np.array([[1], [2], [3], [4], [5]]).atype(np.float64)
y = np.array([1.5, 3.6, 3.5, 2.9, 5.5]).atype(np.float64)
Model
model = LinearnaRegresija()
model.fit(X, y)
Predviđanje
y_pred = model.predict(X)
Koeficijent
beta_0 = model.presretanje_
beta_1 = model.koef_[0]
print(f'Presjecanje: {beta_0}')
print(f'Nagib: {beta_1}')
print(f'Srednja kvadratna pogreška: {srednja_kvadratna_pogreška(y, y_pred)}')
print(f'Koeficijent determinacije (R^2): {r2_score(y, y_pred)}')
Grafikon podataka i regresijska linija
plt.scatter(X, y, boja='plava')
plt.plot(X, y_pred, boja='crvena')
plt.xlabel('X')
plt.ylabel('Y')
plt.show ()
"`
U gornjem primjeru prvo uvozimo potrebne biblioteke, definiramo podatke \(X\) i \(Y\), a zatim koristimo objekt `LinearRegression` iz `scikit-learn` za prilagođavanje modela podacima. Nakon što je model prilagođen, radimo predviđanja i izračunavamo koeficijente, kao i srednju kvadratnu pogrešku i koeficijent determinacije. Na kraju crtamo podatke i regresijski pravac.
Zaključak
Jednostavna linearna regresija moćan je alat za statističku analizu koji se koristi za objašnjenje odnosa između dvije kvantitativne varijable. Uz neke osnovne pretpostavke o linearnosti, neovisnosti, homoskedastičnosti i normalnosti, možemo predvidjeti vrijednost zavisne varijable na temelju vrijednosti nezavisnih varijabli. Metoda najmanjih kvadrata pruža učinkovit način prilagođavanja regresijske linije i određivanja optimalnih parametara. Evaluacija modela putem koeficijenta determinacije (R2) pruža uvid u to koliko dobro naš model funkcionira.
Iako jednostavna linearna regresija ima ograničenja, poput mogućnosti rukovanja samo dvijema varijablama i pretpostavkama koje moraju biti ispunjene, ova tehnika ostaje važan temelj u statistici i analizi podataka te se često koristi kao prvi korak u razumijevanju odnosa između varijabli prije prelaska na složenije metode.
