Eenvoudige Lineêre Regressie-analise
Eenvoudige lineêre regressie is 'n statistiese tegniek wat gebruik word om die verband tussen twee kwantitatiewe veranderlikes te analiseer. Die veranderlike wat ons probeer voorspel, word die afhanklike of responsveranderlike genoem, terwyl die veranderlike wat gebruik word om die voorspelling te maak, die onafhanklike of voorspellerveranderlike genoem word. In eenvoudige lineêre regressie probeer ons die beste reguitlyn vind wat die verband tussen hierdie twee veranderlikes beskryf.
Basiese Konsepte van Eenvoudige Lineêre Regressie
Eenvoudige lineêre regressie is gebaseer op die aanname dat daar 'n lineêre verband is tussen die afhanklike veranderlike \(Y\) en die onafhanklike veranderlike \(X\). Die algemene vorm van 'n eenvoudige lineêre regressiemodel is:
[Y = β₀ + β₁ X + E]
Waar:
– \(Y \) is die afhanklike veranderlike.
– \(X \) is die onafhanklike veranderlike.
– \( \beta_0 \) is die afsnit, wat die waarde van \(Y\) is wanneer \(X = 0\).
– \( \beta_1 \) is die helling of gradiënt, wat die gemiddelde verandering in \(Y\) vir elke eenheidsverandering in \(X\) is.
– \( \epsilon \) is die fout- of residuele term wat die veranderlikheid in \(Y\) verteenwoordig wat nie deur \(X\) verklaar kan word nie.
Die doel van eenvoudige lineêre regressie is om die parameters β₀ en β₁ te skat sodat die model gebruik kan word om die waarde van β₀ wat met die waarde van β₀ geassosieer word, te voorspel.
Kleinste Kwadrate Metode
Een van die mees gebruikte metodes vir die pas van 'n eenvoudige lineêre regressiemodel is die Kleinste Kwadrate-metode. Hierdie metode is daarop gemik om die som van die kwadrate van die vertikale afwykings tussen die werklike waarnemings en die waardes wat deur die model voorspel word, te minimaliseer. Veronderstel ons het n waarnemings wat bestaan uit pare \((x_i, y_i)\) vir \(i = 1, 2, …, n\). Die funksie wat geminimaliseer moet word, is:
[ S(β₀, β₁) = \sum_{i=1}^{n} (y_i – (β₀ + β₁ x_i))^2 \]
Om β₀ en β₁ te vind wat hierdie funksie minimaliseer, neem ons die parsiële afgeleides van S(β₀, β₁) met betrekking tot elke parameter en stel hierdie afgeleides op nul. Die wiskundige berekening kan soos volg vereenvoudig word:
[β₁ = (sum_{i=1}^{n})(x_i – x)(y_i – y)}{sum_{i=1}^{n} (x_i – x)^2)]
\[ \beta_0 = \bar{y} – \beta_1 \bar{x} \]
Waar:
– \(\bar{x}\) is die gemiddelde van \(X\)
– \(\bar{y}\) is die gemiddelde van \(Y\)
Nadat die parameters β0 en β1 verkry is, kan 'n eenvoudige lineêre regressiemodel gebruik word om die waarde van Y vir elke waarde van X te voorspel.
Aannames in Eenvoudige Lineêre Regressie
Vir geldige en betroubare resultate veronderstel eenvoudige lineêre regressie verskeie dinge:
1. Lineariteit: Die verband tussen die afhanklike veranderlike en die onafhanklike veranderlike moet lineêr wees.
2. Onafhanklikheid: Waarnemings moet onafhanklik van mekaar wees.
3. Homoskedastisiteit: Die residuele veranderlikheid moet konstant wees dwarsdeur die reeks waardes van die onafhanklike veranderlike.
4. Residuele Normaliteit: Residue (foute) moet 'n normale verspreiding volg.
Indien hierdie aannames nie nagekom word nie, sal die resultate van 'n eenvoudige lineêre regressiemodel onbetroubaar wees en moontlik nie akkurate voorspellings kan maak nie.
Regressiemodelassessering
Een manier om te bepaal hoe goed 'n eenvoudige lineêre regressiemodel voorspel het, is om die bepalingskoëffisiënt (\(R^2\)) te gebruik. Die bepalingskoëffisiënt toon die proporsie van veranderlikheid in die afhanklike veranderlike wat deur die veranderlikheid in die onafhanklike veranderlikes verklaar kan word.
[ R^2 = \frac{\sum_{i=1}^{n} (\hat{y}_i – \bar{y})^2}{\sum_{i=1}^{n} (y_i – \bar{y})^2} \]
Waar:
– \(\hat{y}_i\) is die voorspelde waarde van \(Y\).
– \(y_i\) is die werklike waarde van \(Y\).
– \(\bar{y}\) is die gemiddelde van die waardes van \(Y\).
Die \(R^2\)-waarde wissel van 0 tot 1. 'n \(R^2\)-waarde naby 1 dui aan dat die model die meeste van die veranderlikheid in die afhanklike veranderlike kan verklaar.
Implementering in programmeertaal
Om eenvoudige lineêre regressie te implementeer, kan ons verskeie statistiese sagteware of programmeertale gebruik. Hieronder is 'n voorbeeldimplementering in Python met behulp van die `scikit-learn`-biblioteek:
"` luislang
invoer lam as np
voer matplotlib.pyplot in as plt
vanaf sklearn.linear_model invoer LinearRegression
vanaf sklearn.metrics voer mean_squared_error, r2_score in
data
X = np.array([[1], [2], [3], [4], [5]]).astype(np.float64)
y = np.array([1.5, 3.6, 3.5, 2.9, 5.5]).astype(np.float64)
model
model = Lineêre regressie ()
model.fit(X, y)
Voorspelling
y_pred = model.predict(X)
Koëffisiënt
beta_0 = model.afsnyding_
beta_1 = model.koef_[0]
druk(f'Afsnyding: {beta_0}')
druk(f'Helling: {beta_1}')
druk(f'Gemiddelde kwadraatfout: {gemiddelde_kwadraatfout(y, y_voorspel)}')
druk(f'Bepalingskoëffisiënt (R^2): {r2_telling(y, y_voorspelling)}')
Dataplot en regressielyn
plt.scatter(X, y, kleur='blou')
plt.plot(X, y_voorspel, kleur='rooi')
plt.xlabel('X')
plt.ylabel('Y')
plt.show ()
''
In die voorbeeld hierbo voer ons eers die nodige biblioteke in, definieer die data \(X\) en \(Y\), en gebruik dan die `LinearRegression`-objek van `scikit-learn` om 'n model by die data aan te pas. Sodra die model gepas is, maak ons voorspellings en bereken die koëffisiënte, sowel as die gemiddelde kwadraatfout en bepalingskoëffisiënt. Laastens stip ons die data en die regressielyn uit.
Afsluiting
Eenvoudige lineêre regressie is 'n kragtige statistiese analise-instrument wat gebruik word om die verband tussen twee kwantitatiewe veranderlikes te verduidelik. Met 'n paar basiese aannames oor lineariteit, onafhanklikheid, homoskedastisiteit en normaliteit, kan ons die waarde van die afhanklike veranderlike voorspel gebaseer op die waardes van die onafhanklike veranderlikes. Die Kleinste Kwadrate-metode bied 'n effektiewe manier om 'n regressielyn te pas en optimale parameters te bepaal. Model-evaluering deur die bepalingskoëffisiënt (R2) bied insig in hoe goed ons model presteer.
Alhoewel eenvoudige lineêre regressie beperkings het, soos om slegs twee veranderlikes te kan hanteer en die aannames wat nagekom moet word, bly hierdie tegniek 'n belangrike fondament in statistiek en data-analise, en word dit dikwels gebruik as 'n eerste stap om die verband tussen veranderlikes te verstaan voordat daar na meer komplekse metodes oorgegaan word.
