Mokhoa oa Likwere tse Nyenyane: Mokhoa oa Lipalo oa ho Hakanya
Pendahuluan
Mokhoa oa lisekoere tse nyane ke mokhoa oa lipalo-palo o sebelisoang ho hakanya liparamente mohlaleng oa regression ka ho fokotsa kakaretso ea liphoso tse sekoere lipakeng tsa boleng ba 'nete le boleng bo boletsoeng esale pele ke mohlala. Mokhoa ona o tumme haholo 'me o sebelisoa khafetsa masimong a fapaneng a kang moruo, boenjiniere, baeloji le mahlale a kahisano. Khopolo ea lisekoere tse nyane e ile ea hlahisoa ka lekhetlo la pele ke Adrien-Marie Legendre mathoasong a lekholo la bo19 la lilemo 'me hamorao ea ntlafatsoa ke Carl Friedrich Gauss.
Kutloisiso ea Motheo
Ka kakaretso, mokhoa oa lisekoere tse nyane o ikemiselitse ho fumana mola oa regression o loketseng hantle bakeng sa sete ea data ka ho fokotsa kakaretso ea lisekoere tsa masala, kapa liphoso tsa ponelopele. Masala ke phapang lipakeng tsa boleng bo bonoang le boleng bo boletsoeng esale pele.
Haeba re na le sete ya data e nang le dipara tsa dipono \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), sepheo sa rona ke ho fumana mola \(y = mx + b\) o fokotsang kakaretso ya diphoso tse sekoere kakaretso\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
Mokhoa ona o ka sebelisoa ho bobeli ho regression e bonolo ea linear le regression e mengata e otlolohileng. Ho regression e bonolo ea linear, re na le variable e le 'ngoe feela e ikemetseng (x), ha regression e mengata e otlolohileng e kenyelletsa mefuta e fetang e le 'ngoe e ikemetseng.
Ho Fokotsa ho Bonolo ha Linear
A re qaleng ka ho kgutlisa mola o bonolo. A re re re na le sete ya data \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). Mohlala o bonolo wa ho kgutlisa mola oo re batlang ho o lekana ke:
\[ y = mx + b + \epsilon \]
moo \( m \) e leng leralla, \( b \) ke thibelo, mme \( \epsilon \) ke phoso e sa reroang.
Re sebelisa mokhoa oa lisekoere tse nyane, re ka fumana likhakanyo tsa liparamente \( m \) le \( b \) ka ho fokotsa ts'ebetso ea phoso e nang le sekoere:
\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
Ho fokotsa \( S(m, b) \), re fumana di-derivative tse sa fellang tsa \( S \) mabapi le \( m \) le \( b \), ebe re rarolla equation ena bakeng sa \( m \) le \( b \):
\[ \begin{aligned}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]
Kamora ho nolofatsa, re fumana di-equation tse pedi tse latelang tse tloaelehileng:
\[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]
Ka ho rarolla tsamaiso ea li-equation tse kaholimo, re ka fumana boleng ba \( m \) le \( b \) bo fokotsang phoso e sekoere.
Ho Fokotsa Methapo e Mengata
Ho regression e otlolohileng e mengata, re tobana le boemo boo re nang le di-variable tse ikemetseng tse fetang e le nngwe. A re re re na le data ka sebopeho sa tuple \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). Mohlala wa regression oo re o sebedisang ke:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
Tekanyo ena e ka ngoloa ka sebopeho sa matrix ka tsela ena:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Moo:
– \( \mathbf{y} \) ke vekthara ya kholomo ya boleng ba y bo bonweng.
– \( \mathbf{X} \) ke matrix ya boleng ba x bo bonweng (ho kenyeletswa le kholomo ya 1 bakeng sa ho thibela).
– \( \mathbf{b} \) ke vektara ya kholomo ya diparamitha (ho kenyeletswa \( b_0 \)).
Sepheo sa mokhoa oa lisekoere tse nyane ke ho fokotsa ts'ebetso e latelang ea liphoso tsa quadratic:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
Ho fokotsa mosebetsi ona, re nka karolo e nkiloeng ea S mabapi le \( \mathbf{b} \) ebe re e beha ho lefela. Sena se hlahisa equation e tloaelehileng bakeng sa regression e mengata e otlolohileng:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
Ka ho rarolla tsamaiso ea li-equation tse kaholimo, re ka fumana khakanyo ea paramethara \( \mathbf{b} \):
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Melemo le Meeli
Mokhoa oa lisekoere tse nyane o na le melemo e mengata. Ke mokhoa o sebetsang hantle haholo le o bonolo ho o sebelisa. O fana ka tharollo e ikhethang haeba \( \mathbf{X}^T \mathbf{X} \) e sa fetohe, e leng se etsang hore e tšepahale bakeng sa lits'ebetso tse ngata tse sebetsang.
Leha ho le jwalo, mokhoa wa dikwere tse nyane le wona o na le meedi. O na le kutlwisiso e tebileng haholo ho tse sa tlwaelehang hobane phoso e sekwere e totobatsa dipharologanyo tse kgolo ho feta tse nyane. Ho feta moo, kgopolo ya kgale ya hore diphoso di na le kabo e tlwaelehileng ka karolelano ya lefela le phapang e sa fetoheng e tlameha ho fihlellwa bakeng sa diphetho tse ntle.
Litšebeliso tse Sebetsang
Mokhoa oa li-squares tse nyane o sebelisoa khafetsa tlhahlobong ea mekhoa ea data, ho bolela esale pele, le ho ithuta ka mochini ho aha mehlala ea ho bolela esale pele. Indastering ea lichelete, mokhoa oa li-squares tse nyane o sebelisoa ho bolela esale pele litheko tsa setoko kapa ts'ebetso ea 'maraka. Bongaka, o sebelisoa ho etsa mohlala oa kamano pakeng tsa tekanyo ea lithethefatsi le karabelo ea bakuli. Mahlaleng a kahisano, o thusa ho utloisisa kamano pakeng tsa lintho tse fapaneng tse kang thuto le chelete.
Qetello
Mokhoa oa lisekoere tse nyane ke o mong oa mekhoa ea motheo ea lipalo-palo le tlhahlobo ea data. Leha o le bonolo ka mohopolo, mokhoa ona o fana ka matla a bohlokoa ho etseng mohlala le ho utloisisa likamano lipakeng tsa mefuta-futa. Ka lits'ebetso tse pharalletseng masimong a mangata, kutloisiso e tiileng ea mokhoa ona e bohlokoa haholo bakeng sa litsebi le bafuputsi ka ho tšoana. Ho ea pele, ka bongata bo ntseng bo eketseha ba data bo kopaneng le mehleng ea data e kholo, ho ikamahanya le maemo le ts'ebeliso ea mekhoa ea khale joalo ka lisekoere tse nyane ho tla ba bohlokoa haholo.
