Хамгийн бага квадратын арга: Тооцооллын математикийн арга
Пендахулуан
Хамгийн бага квадратын арга нь бодит утга ба загвараар таамагласан утгуудын хоорондох квадрат алдааны нийлбэрийг хамгийн бага байлгах замаар регрессийн загварт параметрүүдийг тооцоолоход ашигладаг статистикийн арга юм. Энэ арга нь маш түгээмэл бөгөөд эдийн засаг, инженерчлэл, биологи, нийгмийн шинжлэх ухаан зэрэг янз бүрийн салбарт түгээмэл хэрэглэгддэг. Хамгийн бага квадратын тухай ойлголтыг анх 19-р зууны эхээр Адриен-Мари Лежандр санал болгосон бөгөөд хожим нь Карл Фридрих Гаусс цаашид хөгжүүлсэн.
Үндсэн ойлголт
Ерөнхийдөө хамгийн бага квадратын арга нь үлдэгдэл буюу таамаглалын алдааны квадратуудын нийлбэрийг хамгийн бага байлгах замаар өгөгдлийн багцад хамгийн сайн тохирох регрессийн шугамыг олох зорилготой. Үлдэгдэл гэдэг нь ажиглагдсан утга ба таамагласан утгын зөрүү юм.
Хэрэв бидэнд ажиглалтын хос \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\)-ээс бүрдсэн өгөгдлийн багц байгаа бол бидний зорилго бол квадрат алдааны нийлбэрийг хамгийн бага байлгах \(y = mx + b\) мөрийг олох явдал юм. sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
Энэ аргыг энгийн шугаман регресс болон олон шугаман регрессийн аль алинд нь хэрэглэж болно. Энгийн шугаман регрессийн үед бид зөвхөн нэг бие даасан хувьсагч (x)-тэй байдаг бол олон шугаман регресс нь нэгээс олон бие даасан хувьсагчийг хамардаг.
Энгийн шугаман регресс
Энгийн шугаман регрессээс эхэлье. Бидэнд \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)) өгөгдлийн багц байна гэж бодъё. Бидний тохируулахыг хүсч буй энгийн шугаман регрессийн загвар нь:
\[ y = mx + b + \epsilon \]
энд \(m\) нь налуу, \(b\) нь огтлолцол, \(\epsilon\) нь санамсаргүй алдаа юм.
Хамгийн бага квадратын аргыг ашиглан бид квадрат алдааны функцийг хамгийн бага байлгах замаар \(m\) болон \(b\) параметрүүдийн тооцооллыг олж болно:
\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
\(S(m, b) \)-г багасгахын тулд бид \(S \)-ийн \(m \) ба \(b \)-тэй харьцуулсан хэсэгчилсэн уламжлалыг олоод, дараа нь \(m \) ба \(b \)-ийн хувьд энэ тэгшитгэлийг бодоорой:
\[ \эхлэх{зэрэгцүүлсэн}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]
Хялбаршуулсаны дараа бид дараах хоёр хэвийн тэгшитгэлийг олж авна.
\[ \эхлэх{зэрэгцүүлсэн}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]
Дээрх тэгшитгэлийн системийг бодсоноор бид квадрат алдааг хамгийн бага байлгах \(m\) ба \(b\) утгуудыг олж чадна.
Олон шугаман регресс
Олон шугаман регрессийн үед бид нэгээс олон бие даасан хувьсагчтай байх нөхцөл байдалтай тулгардаг. Бидэнд өгөгдөл нь \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\) кортеж хэлбэрээр байна гэж бодъё. Бидний ашигладаг регрессийн загвар нь:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]
Энэ тэгшитгэлийг матриц хэлбэрээр дараах байдлаар бичиж болно.
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
ди мана:
– \( \mathbf{y} \) нь ажиглагдсан y утгуудын баганын вектор юм.
– \( \mathbf{X} \) нь ажиглагдсан x утгуудын матриц юм (огтлолтын 1-р баганыг оруулаад).
– \( \mathbf{b} \) нь параметрүүдийн (\(b_0 \)-г оруулаад) баганын вектор юм.
Хамгийн бага квадратын аргын зорилго нь дараах квадрат алдааны функцийг хамгийн бага байлгах явдал юм.
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
Энэ функцийг хамгийн бага байлгахын тулд бид S-ийн \( \mathbf{b} \)-тэй харьцуулсан хэсэгчилсэн уламжлалыг авч тэг болгож тохируулна. Энэ нь олон шугаман регрессийн хэвийн тэгшитгэлийг гаргана:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
Дээрх тэгшитгэлийн системийг бодсоноор бид \( \mathbf{b} \) параметрийн тооцооллыг гаргаж авч болно:
\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
Кеунтунган дан Кетербатасан
Хамгийн бага квадратын арга нь олон давуу талтай. Энэ нь ашиглахад маш үр дүнтэй бөгөөд энгийн арга юм. Хэрэв \( \mathbf{X}^T \mathbf{X} \) нь урвуу байвал өвөрмөц шийдлийг санал болгодог тул олон практик хэрэглээнд найдвартай болгодог.
Гэсэн хэдий ч хамгийн бага квадратын арга нь хязгаарлалттай. Энэ нь гадуурх утгуудад маш мэдрэмтгий байдаг, учир нь квадрат алдаа нь жижиг ялгаанаас илүү том ялгааг онцолдог. Цаашилбал, сайн үр дүнд хүрэхийн тулд алдаа нь тэг дундажтай, тогтмол хэлбэлзэлтэй хэвийн тархалттай гэсэн сонгодог таамаглалыг хангах ёстой.
Практик хэрэглээ
Хамгийн бага квадратын аргыг өгөгдлийн чиг хандлагын шинжилгээ, урьдчилсан мэдээ, урьдчилан таамаглах загвар бүтээхэд машин сургалтад байнга ашигладаг. Санхүүгийн салбарт хамгийн бага квадратын аргыг хувьцааны үнэ эсвэл зах зээлийн гүйцэтгэлийг урьдчилан таамаглахад ашигладаг. Анагаах ухаанд эмийн тун ба өвчтөний хариу үйлдлийн хоорондын хамаарлыг загварчлахад ашигладаг. Нийгмийн шинжлэх ухаанд энэ нь боловсрол, орлого зэрэг хувьсагчдын хоорондын хамаарлыг ойлгоход тусалдаг.
Дүгнэлт
Хамгийн бага квадратын арга нь статистик болон өгөгдлийн шинжилгээний үндсэн аргуудын нэг юм. Энэхүү арга нь ойлголтын хувьд энгийн боловч хувьсагчдын хоорондын хамаарлыг загварчлах, ойлгоход ихээхэн хүч чадал өгдөг. Өргөн хүрээний салбарт өргөн хэрэглэгддэг тул энэ аргыг сайтар ойлгох нь мэргэжлийн хүмүүс болон судлаачдын хувьд үнэлж баршгүй юм. Цаашид их өгөгдлийн эрин үед тулгарч буй өгөгдлийн хэмжээ нэмэгдэхийн хэрээр хамгийн бага квадратын арга зэрэг сонгодог аргуудыг ашиглах, дасан зохицох нь улам бүр хамааралтай болох болно.
