Methodus Quadratorum Minimorum: Aditus Mathematicus ad Aestimationem
Pendahuluan
Methodus quadratorum minimorum est ars statistica adhibita ad parametros in exemplo regressionis aestimandos, summam errorum quadratorum inter valores reales et valores a exemplo praedictos minimizando. Haec methodus valde popularis est et frequenter in variis campis, ut oeconomia, arte ingeniaria, biologia, et scientiis socialibus, adhibetur. Conceptus quadratorum minimorum primum ab Adrien-Marie Legendre initio saeculi XIX propositus est et postea a Carolo Friderico Gauss ulterius elaboratus est.
Intellectus Fundamentalis
In genere, methodus quadratorum minimorum lineam regressionis optime aptam pro serie datorum invenire intendit, summam quadratorum residuorum, sive errores praedictionis, minuendo. Residuum est differentia inter valorem observatum et valorem praedictum.
Si copiam datorum habemus constantem ex paribus observationum ((x_1, y_1), (x_2, y_2), …, (x_n, y_n)), tum propositum nostrum est invenire lineam (y = mx + b) quae summam errorum quadratorum (\sum_{i=1}^{n} (y_i – (mx_i + b))^2) ad minimum redigit).
Haec methodus et ad simplicem regressionem linearem et ad multiplicem regressionem linearem adhiberi potest. In simplici regressione lineari, unam tantum variabilem independentem (x) habemus, dum regressio linearis multiplex plus quam unam variabilem independentem implicat.
Regressio Linearis Simplex
Incipiamus a regressione lineari simplici. Ponamus nos habere copiam datorum \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). Simplicis exemplar regressionis linearis quod aptare volumus est:
`y = mx + b + ∴`
ubi ∫(m) est inclinatio, ∫(b) est intersectio angularis, et ∫(epsilon) est error fortuitus.
Methodo quadratorum minimorum utentes, aestimationes parametrorum ∫(m) et ∫(b) invenire possumus functionem erroris quadrati minimizando:
S(m, b) = \summa_{i=1}^{n} (y_i – (mx_i + b))^²)
Ad \(S(m, b)\) minimum reddendum, derivativa partialia \(S\) respectu \(m\) et \(b\) invenimus, deinde hanc aequationem pro \(m\) et \(b\) solvimus:
\[ \begin{aligned}
\frac{\partial S}{\partial m} & = -2 \summa_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
`frac{\partial S}{\partial b} & = -2 \summa_{i=1}^{n} (y_i – (mx_i + b)) = 0`
\end{alignatus} \]
Post simplificationem, duas aequationes normales sequentes obtinemus:
\[ \begin{aligned}
n\bar{y} & = m \summa_{i=1}^{n} x_i + nb \\
Summa i = 1 n x_i y_i & = m summa i = 1 n x_i² + b summa i = 1 n x_i
\end{alignatus} \]
Systemate aequationum supra solvendo, valores ∫(m) et ∫(b) invenire possumus qui errorem quadraticum ad minimum redigant.
Regressio Linearis Multiplex
In regressione lineari multiplici, condicionem habemus ubi plus quam unam variabilem independentem habemus. Ponamus nos habere data in forma tuplae \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). Modelum regressionis quod utimur est:
`y = b₀ + b₁ x₁ + b₂ x₂ + … + bₚ xₚ + ∴`
Haec aequatio forma matricis sic scribi potest:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Ubi:
– \( \mathbf{y} \) est vector columnae valorum y observatorum.
– \( \mathbf{X} \) est matrix valorum x observatorum (columna 1 pro intersectione inclusa).
– \( \mathbf{b} \) est vector columnae parametrorum (includens \( b_0 \)).
Finis methodi quadratorum minimorum est functionem erroris quadratici sequentem ad minimum redigere:
\[ S(\mathbf{b}) = (\mathbf{y}- \mathbf{Xb})^T (\mathbf{y}- \mathbf{Xb}) \]
Ad hanc functionem minuendam, derivativum partialem functionis S respectu ∫(∫b)∫ sumimus et ad nihilum statuimus. Hoc aequationem normalem pro regressione lineari multiplici producit:
`[X^T Xb = X^T y]` vel `y`
Systemate aequationum supra solvendo, aestimationem parametri \( \mathbf{b} \) obtinere possumus:
`b` = (X^T X)-1 X^T y)`
Commoda et Limitationes
Methodus quadratorum minimorum multa commoda habet. Methodus est efficacissima et simplex in usu. Solutionem singularem offert si ∫( \mathbf{X}^T \mathbf{X} \) invertibilis est, ita ut multis applicationibus practicis fidissima sit.
Attamen, methodus quadratorum minimorum etiam limitationes habet. Valde sensibilis est ad valores aberrantes quia error quadraticus differentias magnas magis quam parvas exaggerat. Praeterea, suppositio classica errores distributionem normalem cum media nulla et variantia constante habere, ut bonos eventus habeantur, implenda est.
Applicationes Practicae
Methodus quadratorum minimorum saepe in analysi inclinationum datorum, praedictione, et doctrina automatica adhibetur ad exempla praedictiva construenda. In industria pecuniaria, methodus quadratorum minimorum adhibita est ad pretia actionum vel actionem mercatus praedicendam. In medicina, ad relationem inter dosim medicamentorum et responsionem aegrotorum simulandam adhibetur. In scientiis socialibus, adiuvat ad intellegendam relationem inter variabiles ut educationem et reditus.
conclusio
Methodus quadratorum minimorum una ex fundamentalibus artibus in statisticis et analysi datorum est. Quamvis simplex in notione sit, haec methodus vim magnam praebet in modellandis et intellegendis nexibus inter variabiles. Cum applicationibus late patentibus per latam varietatem agrorum, solida huius methodi comprehensio pretiosa est tam peritis quam investigatoribus. In futurum, cum crescente copia datorum in aetate magnarum copiarum datorum occurrente, adaptatio et applicatio methodorum classicarum, ut quadratorum minimorum, magis magisque pertinentium fiet.
