Dull y Sgwariau Lleiaf: Dull Mathemategol o Amcangyfrif
Rhagymadrodd
Mae dull y sgwariau lleiaf yn dechneg ystadegol a ddefnyddir i amcangyfrif paramedrau mewn model atchweliad trwy leihau swm y gwallau sgwâr rhwng y gwerthoedd gwirioneddol a'r gwerthoedd a ragfynegwyd gan y model. Mae'r dull hwn yn boblogaidd iawn ac fe'i defnyddir yn aml mewn amrywiol feysydd megis economeg, peirianneg, bioleg, a'r gwyddorau cymdeithasol. Cynigiwyd y cysyniad o sgwariau lleiaf gyntaf gan Adrien-Marie Legendre ddechrau'r 19eg ganrif ac fe'i datblygwyd ymhellach yn ddiweddarach gan Carl Friedrich Gauss.
Dealltwriaeth Sylfaenol
Yn gyffredinol, nod y dull sgwariau lleiaf yw dod o hyd i'r llinell atchweliad sy'n ffitio orau ar gyfer set ddata trwy leihau swm sgwariau'r gweddillion, neu wallau rhagfynegi. Y gweddillion yw'r gwahaniaeth rhwng y gwerth a arsylwyd a'r gwerth a ragfynegwyd.
Os oes gennym set ddata sy'n cynnwys parau o arsylwadau \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), yna ein nod yw dod o hyd i'r llinell \(y = mx + b\) sy'n lleihau swm y gwallau sgwâr sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
Gellir defnyddio'r dull hwn ar gyfer atchweliad llinol syml ac atchweliad llinol lluosog. Mewn atchweliad llinol syml, dim ond un newidyn annibynnol (x) sydd gennym, tra bod atchweliad llinol lluosog yn cynnwys mwy nag un newidyn annibynnol.
Atchweliad Llinol Syml
Gadewch i ni ddechrau gydag atchweliad llinol syml. Tybiwch fod gennym set ddata \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). Y model atchweliad llinol syml yr ydym am ei ffitio yw:
\[ y = mx + b + \epsilon \]
lle mae \(m \) yn llethr, \(b \) yn rhyngdoriad, ac \(\epsilon \) yn gwall ar hap.
Gan ddefnyddio'r dull sgwariau lleiaf, gallwn ddod o hyd i amcangyfrifon o'r paramedrau \(m \) a \(b \) trwy leihau'r ffwythiant gwall sgwâr:
[S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
I leihau S(m, b) i'r lleiafswm), rydym yn darganfod deilliadau rhannol S mewn perthynas â m a b, ac yna'n datrys yr hafaliad hwn ar gyfer m a b:
\[ \begin{alinio}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{alinio} \]
Ar ôl symleiddio, cawn y ddau hafaliad normal canlynol:
\[ \begin{alinio}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{alinio} \]
Drwy ddatrys y system o hafaliadau uchod, gallwn ddod o hyd i werthoedd \(m \) a \(b \) sy'n lleihau'r gwall sgwâr i'r lleiafswm.
Atchweliad Llinol Lluosog
Mewn atchweliad llinol lluosog, rydym yn wynebu sefyllfa lle mae gennym fwy nag un newidyn annibynnol. Tybiwch fod gennym ddata ar ffurf tiwpl \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). Y model atchweliad a ddefnyddiwn yw:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
Gellir ysgrifennu'r hafaliad hwn ar ffurf matrics fel:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Ble:
– Mae \( \mathbf{y} \) yn fector colofn o werthoedd y a arsylwyd.
– Mae \( \mathbf{X} \) yn fatrics o werthoedd x a arsylwyd (gan gynnwys colofn 1 ar gyfer y rhyngdoriad).
– Mae \( \mathbf{b} \) yn fector colofn o'r paramedrau (gan gynnwys \( b_0 \)).
Nod y dull sgwariau lleiaf yw lleihau'r ffwythiant gwall cwadratig canlynol:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
I leihau'r ffwythiant hwn i'r lleiafswm, rydym yn cymryd y deilliad rhannol o S mewn perthynas â \( \mathbf{b} \) ac yn ei osod i sero. Mae hyn yn cynhyrchu'r hafaliad arferol ar gyfer atchweliad llinol lluosog:
[\mathbf{X}^T \mathbf{X} = \mathbf{X}^T \mathbf{y} \]
Drwy ddatrys y system o hafaliadau uchod, gallwn gael amcangyfrif o'r paramedr \( \mathbf{b} \):
[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Manteision a Chyfyngiadau
Mae gan y dull lleiafswm sgwariau lawer o fanteision. Mae'n ddull effeithlon a syml iawn i'w ddefnyddio. Mae'n cynnig ateb unigryw os yw \( \mathbf{X}^T \mathbf{X} \) yn wrthdroadwy, gan ei wneud yn ddibynadwy ar gyfer llawer o gymwysiadau ymarferol.
Fodd bynnag, mae gan y dull sgwariau lleiaf gyfyngiadau hefyd. Mae'n sensitif iawn i allanolion oherwydd bod y gwall sgwâr yn pwysleisio gwahaniaethau mawr yn fwy na rhai bach. Ar ben hynny, rhaid bodloni'r dybiaeth glasurol bod gan y gwallau ddosraniad arferol gyda chymedr sero ac amrywiant cyson i gael canlyniadau da.
Cymwysiadau Ymarferol
Defnyddir y dull sgwariau lleiaf yn aml mewn dadansoddi tueddiadau data, rhagweld, a dysgu peirianyddol i adeiladu modelau rhagfynegol. Yn y diwydiant ariannol, defnyddir y dull sgwariau lleiaf i ragweld prisiau stoc neu berfformiad y farchnad. Mewn meddygaeth, fe'i defnyddir i fodelu'r berthynas rhwng dos cyffuriau ac ymateb cleifion. Yn y gwyddorau cymdeithasol, mae'n helpu i ddeall y berthynas rhwng newidynnau fel addysg ac incwm.
Casgliad
Mae'r dull sgwariau lleiaf yn un o'r technegau sylfaenol mewn ystadegaeth a dadansoddi data. Er ei fod yn syml o ran cysyniad, mae'r dull hwn yn cynnig pŵer sylweddol wrth fodelu a deall perthnasoedd rhwng newidynnau. Gyda chymwysiadau eang ar draws ystod eang o feysydd, mae dealltwriaeth gadarn o'r dull hwn yn amhrisiadwy i weithwyr proffesiynol ac ymchwilwyr fel ei gilydd. Wrth symud ymlaen, gyda'r gyfaint cynyddol o ddata a geir yn oes y data mawr, dim ond dod yn fwyfwy perthnasol fydd addasu a chymhwyso dulliau clasurol fel y sgwariau lleiaf.
