Método dos mínimos cadrados: unha aproximación matemática á estimación
Pendahuluan
O método dos mínimos cadrados é unha técnica estatística empregada para estimar parámetros nun modelo de regresión minimizando a suma dos erros cadrados entre os valores reais e os valores preditos polo modelo. Este método é moi popular e úsase con frecuencia en diversos campos como a economía, a enxeñaría, a bioloxía e as ciencias sociais. O concepto de mínimos cadrados foi proposto por primeira vez por Adrien-Marie Legendre a principios do século XIX e posteriormente foi desenvolvido por Carl Friedrich Gauss.
Comprensión básica
En xeral, o método dos mínimos cadrados ten como obxectivo atopar a recta de regresión que mellor se axusta a un conxunto de datos minimizando a suma dos cadrados dos residuos, ou erros de predición. O residual é a diferenza entre o valor observado e o valor previsto.
Se temos un conxunto de datos que consiste en pares de observacións \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\), entón o noso obxectivo é atopar a recta \(y = mx + b\) que minimiza a suma dos erros cadrados sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \).
Este método pódese aplicar tanto á regresión lineal simple como á regresión lineal múltiple. Na regresión lineal simple, só temos unha variable independente (x), mentres que a regresión lineal múltiple implica máis dunha variable independente.
Regresión lineal simple
Comecemos cunha regresión lineal simple. Supoñamos que temos un conxunto de datos \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). O modelo de regresión lineal simple que queremos axustar é:
y = mx + b + ∴
onde \(m\) é a pendente, \(b\) é a intersección e \(epsilon\) é o erro aleatorio.
Usando o método dos mínimos cadrados, podemos atopar estimacións dos parámetros \(m\) e \(b\) minimizando a función de erro cadrado:
S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]
Para minimizar \( S(m, b) \), atopamos as derivadas parciais de \( S \) con respecto a \( m \) e \( b \), e despois resolvemos esta ecuación para \( m \) e \( b \):
\[ \begin{aliñado}
\frac{\parcial S}{\parcial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aliñado} \]
Tras a simplificación, obtemos as seguintes dúas ecuacións normais:
\[ \begin{aliñado}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aliñado} \]
Ao resolver o sistema de ecuacións anterior, podemos atopar os valores de \(m\) e \(b\) que minimizan o erro cadrado.
Regresión lineal múltiple
Na regresión lineal múltiple, atopámonos cunha situación na que temos máis dunha variable independente. Supoñamos que temos datos en forma de tupla \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). O modelo de regresión que empregamos é:
\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + ∫\epsilon \]
Esta ecuación pódese escribir en forma matricial como:
\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]
Onde:
– \( \mathbf{y} \) é un vector columna dos valores de y observados.
– \( \mathbf{X} \) é unha matriz de valores de x observados (incluíndo a columna 1 para a intersección).
– \( \mathbf{b} \) é un vector columna dos parámetros (incluíndo \( b_0 \)).
O obxectivo do método dos mínimos cadrados é minimizar a seguinte función de erro cuadrática:
\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]
Para minimizar esta función, tomamos a derivada parcial de S con respecto a \( \mathbf{b} \) e poñémola en cero. Isto produce a ecuación normal para a regresión lineal múltiple:
\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]
Ao resolver o sistema de ecuacións anterior, podemos obter unha estimación do parámetro \( \mathbf{b} \):
\[ b = (X T X) -1 X T y
Vantaxes e limitacións
O método dos mínimos cadrados ten moitas vantaxes. É un método moi eficiente e sinxelo de usar. Ofrece unha solución única se \( \mathbf{X}^T \mathbf{X} \) é invertible, o que o fai fiable para moitas aplicacións prácticas.
Non obstante, o método dos mínimos cadrados tamén ten limitacións. É moi sensible aos valores atípicos porque o erro cadrado enfatiza as grandes diferenzas máis que as pequenas. Ademais, para obter bos resultados, débese cumprir a suposición clásica de que os erros teñen unha distribución normal con media cero e varianza constante.
Aplicacións prácticas
O método dos mínimos cadrados úsase con frecuencia na análise de tendencias de datos, na previsión e na aprendizaxe automática para construír modelos preditivos. No sector financeiro, o método dos mínimos cadrados úsase para predicir os prezos das accións ou o rendemento do mercado. En medicina, utilízase para modelar a relación entre a dosificación dos fármacos e a resposta do paciente. Nas ciencias sociais, axuda a comprender a relación entre variables como a educación e os ingresos.
Conclusión
O método dos mínimos cadrados é unha das técnicas fundamentais en estatística e análise de datos. Aínda que é simple en concepto, este método ofrece unha potencia significativa para modelar e comprender as relacións entre variables. Con aplicacións amplas nunha ampla gama de campos, unha comprensión sólida deste método é inestimable tanto para profesionais como para investigadores. De cara ao futuro, co crecente volume de datos atopados na era do big data, a adaptación e aplicación de métodos clásicos como os mínimos cadrados só se volverán cada vez máis relevantes.
