Txoj Kev Ntsuas Tsawg Tshaj Plaws: Ib Txoj Kev Xam Xaj rau Kev Kwv Yees
Pendahuluuan
Txoj kev ntawm cov lej tsawg kawg yog ib txoj kev suav lej siv los kwv yees cov kev ntsuas hauv tus qauv regression los ntawm kev txo qhov sib npaug ntawm cov yuam kev squared ntawm cov nqi tiag tiag thiab cov nqi kwv yees los ntawm tus qauv. Txoj kev no nrov heev thiab feem ntau siv rau ntau qhov chaw xws li kev lag luam, kev tsim kho, biology, thiab kev tshawb fawb hauv zej zog. Lub tswv yim ntawm cov lej tsawg kawg yog thawj zaug tau thov los ntawm Adrien-Marie Legendre thaum ntxov xyoo pua 19th thiab tom qab ntawd tau tsim ntxiv los ntawm Carl Friedrich Gauss.
Kev Nkag Siab Yooj Yim
Feem ntau, txoj kev ntsuas tsawg kawg nkaus (least squares) lub hom phiaj yog nrhiav txoj kab regression zoo tshaj plaws rau cov ntaub ntawv teeb tsa los ntawm kev txo qhov sib npaug ntawm cov squares ntawm cov residuals, lossis qhov yuam kev kwv yees. Cov residual yog qhov sib txawv ntawm tus nqi pom thiab tus nqi kwv yees.
Yog tias peb muaj cov ntaub ntawv teeb tsa uas muaj cov khub ntawm kev soj ntsuam \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), ces peb lub hom phiaj yog nrhiav kab \(y = mx + b\) uas txo qhov sib npaug ntawm cov kev ua yuam kev squared sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
Txoj kev no siv tau rau ob qho tib si linear regression yooj yim thiab ntau linear regression. Hauv kev regression linear yooj yim, peb tsuas muaj ib qho independent variable (x), thaum ntau linear regression cuam tshuam ntau dua ib qho independent variable.
Kev Txheeb Xyuas Kab Ntsig Yooj Yim
Cia peb pib nrog kev txheeb xyuas kab ncaj ncaj yooj yim. Xav tias peb muaj cov ntaub ntawv teeb tsa \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). Tus qauv txheeb xyuas kab ncaj ncaj yooj yim uas peb xav kom haum yog:
\[ y = mx + b + epsilon \]
qhov twg \(m\) yog qhov nqes hav, \(b\) yog qhov intercept, thiab \(\epsilon\) yog qhov yuam kev random.
Siv txoj kev tsawg kawg nkaus squares, peb tuaj yeem nrhiav kev kwv yees ntawm cov kev cai \(m\) thiab \(b\) los ntawm kev txo qhov kev ua yuam kev squared:
\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
Yuav kom txo tau \(S(m, b) \), peb nrhiav cov derivatives ib nrab ntawm \(S \) piv rau \(m \) thiab \(b \), thiab tom qab ntawd daws qhov sib npaug no rau \(m \) thiab \(b \):
\[ \begin{aligned}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]
Tom qab ua kom yooj yim, peb tau txais ob qho kev sib npaug zoo li qub:
\[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]
Los ntawm kev daws qhov system ntawm cov kab zauv saum toj no, peb tuaj yeem nrhiav tau cov nqi ntawm \(m\) thiab \(b\) uas txo qhov yuam kev squared.
Kev Txheeb Xyuas Ntau Kab Ntsig
Hauv ntau txoj kev rov qab ua dua tshiab, peb ntsib qhov xwm txheej uas peb muaj ntau dua ib qho kev hloov pauv ywj pheej. Xav tias peb muaj cov ntaub ntawv hauv daim ntawv ntawm tuple \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). Tus qauv rov qab ua dua tshiab uas peb siv yog:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
Cov kab zauv no tuaj yeem sau ua daim ntawv matrix li:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Qhov twg:
- \( \mathbf{y} \) yog ib kab vector ntawm cov nqi y uas tau pom.
- \( \mathbf{X} \) yog ib lub matrix ntawm cov nqi x uas tau pom (suav nrog kem 1 rau qhov kev cuam tshuam).
- \( \mathbf{b} \) yog ib kab vector ntawm cov parameters (xws li \( b_0 \)).
Lub hom phiaj ntawm txoj kev least squares yog kom txo qhov quadratic error function hauv qab no:
\[S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
Yuav kom txo qhov kev ua haujlwm no, peb siv qhov derivative ib nrab ntawm S piv rau \( \mathbf{b} \) thiab teeb tsa nws rau xoom. Qhov no ua rau cov qauv ib txwm rau ntau qhov kev rov qab linear:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
Los ntawm kev daws qhov system ntawm cov equations saum toj no, peb tuaj yeem tau txais kev kwv yees ntawm qhov parameter \( \mathbf{b} \):
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Cov Zoo thiab Cov Kev Txwv
Txoj kev ntsuas tsawg tshaj plaws muaj ntau qhov zoo. Nws yog ib txoj kev siv tau zoo heev thiab yooj yim heev. Nws muab ib qho kev daws teeb meem tshwj xeeb yog tias \( \mathbf{X}^T \mathbf{X} \) yog invertible, ua rau nws ntseeg tau rau ntau yam kev siv.
Txawm li cas los xij, txoj kev ntsuas tsawg kawg nkaus kuj muaj cov kev txwv. Nws rhiab heev rau cov outliers vim tias qhov yuam kev squared hais txog qhov sib txawv loj ntau dua li cov me. Ntxiv mus, qhov kev xav tias cov yuam kev muaj kev faib tawm ib txwm muaj nrog xoom qhov nruab nrab thiab qhov sib txawv tas mus li yuav tsum tau ua tiav rau cov txiaj ntsig zoo.
Cov Kev Siv Tau Zoo
Txoj kev siv txoj kev ntsuas tsawg kawg nkaus feem ntau siv rau hauv kev tshuaj xyuas cov ntaub ntawv, kev kwv yees, thiab kev kawm tshuab los tsim cov qauv kwv yees. Hauv kev lag luam nyiaj txiag, txoj kev ntsuas tsawg kawg nkaus yog siv los kwv yees cov nqi khoom lag luam lossis kev ua lag luam. Hauv kev kho mob, nws yog siv los ua qauv qhia txog kev sib raug zoo ntawm kev noj tshuaj thiab kev teb ntawm tus neeg mob. Hauv kev kawm txog zej zog, nws pab nkag siab txog kev sib raug zoo ntawm cov hloov pauv xws li kev kawm thiab cov nyiaj tau los.
Xaus
Txoj kev siv cov lej tsawg kawg yog ib qho ntawm cov txheej txheem tseem ceeb hauv kev suav lej thiab kev tshuaj xyuas cov ntaub ntawv. Txawm hais tias yooj yim hauv lub tswv yim, txoj kev no muaj lub zog tseem ceeb hauv kev ua qauv thiab nkag siab txog kev sib raug zoo ntawm cov hloov pauv. Nrog rau kev siv dav dav thoob plaws ntau qhov chaw, kev nkag siab zoo txog txoj kev no yog qhov tseem ceeb rau cov kws tshaj lij thiab cov kws tshawb fawb. Mus tom ntej, nrog rau qhov ntim ntawm cov ntaub ntawv nce ntxiv uas ntsib hauv lub sijhawm loj ntawm cov ntaub ntawv, kev hloov kho thiab kev siv cov txheej txheem qub xws li cov lej tsawg kawg yuav tsuas yog muaj feem cuam tshuam ntau dua.
