Análisis de regresión lineal simple
La regresión lineal simple es una técnica estadística que se utiliza para analizar la relación entre dos variables cuantitativas. La variable que se intenta predecir se denomina variable dependiente o de respuesta, mientras que la variable que se utiliza para realizar la predicción se denomina variable independiente o predictora. En la regresión lineal simple, se busca la línea recta que mejor describa la relación entre estas dos variables.
Conceptos básicos de la regresión lineal simple
La regresión lineal simple se basa en el supuesto de que existe una relación lineal entre la variable dependiente \(Y\) y la variable independiente \(X\). La forma general de un modelo de regresión lineal simple es:
\[ Y = \beta_0 + \beta_1 X + \epsilon \]
De mana:
– \( Y \) es la variable dependiente.
– \( X \) es la variable independiente.
– \( \beta_0 \) es la intersección, que es el valor de \(Y\) cuando \(X = 0\).
– \( \beta_1 \) es la pendiente o gradiente, que es el cambio promedio en \(Y\) por cada unidad de cambio en \(X\).
– \( \epsilon \) es el término de error o residual que representa la variabilidad en \(Y\) que no puede explicarse por \(X\).
El objetivo de la regresión lineal simple es estimar los parámetros \(\beta_0\) y \(\beta_1\) para que el modelo pueda usarse para predecir el valor de \(Y\) asociado con el valor de \(X\).
Método de mínimos cuadrados
Uno de los métodos más utilizados para ajustar un modelo de regresión lineal simple es el método de mínimos cuadrados. Este método busca minimizar la suma de los cuadrados de las desviaciones verticales entre las observaciones reales y los valores predichos por el modelo. Supongamos que tenemos n observaciones que consisten en pares \((x_i, y_i)\) para \(i = 1, 2, …, n\). La función a minimizar es:
\[ S(\beta_0, \beta_1) = \sum_{i=1}^{n} (y_i – (\beta_0 + \beta_1 x_i))^2 \]
Para encontrar \(\beta_0\) y \(\beta_1\) que minimicen esta función, tomamos las derivadas parciales de \(S(\beta_0, \beta_1)\) con respecto a cada parámetro y las igualamos a cero. El cálculo matemático se puede simplificar de la siguiente manera:
\[ \beta_1 = \frac{\sum_{i=1}^{n} (x_i – \bar{x})(y_i – \bar{y})}{\sum_{i=1}^{n} (x_i – \bar{x})^2} \]
\[ \beta_0 = \bar{y} – \beta_1 \bar{x} \]
De mana:
– \(\bar{x}\) es el promedio de \(X\)
– \(\bar{y}\) es el promedio de \(Y\)
Después de obtener los parámetros \(\beta_0\) y \(\beta_1\), se puede utilizar un modelo de regresión lineal simple para predecir el valor de \(Y\) para cada valor de \(X\).
Supuestos en la regresión lineal simple
Para obtener resultados válidos y fiables, la regresión lineal simple presupone varias cosas:
1. Linealidad: La relación entre la variable dependiente y la variable independiente debe ser lineal.
2. Independencia: Las observaciones deben ser independientes entre sí.
3. Homocedasticidad: La variabilidad residual debe ser constante en todo el rango de valores de la variable independiente.
4. Normalidad de los residuos: Los residuos (errores) deben seguir una distribución normal.
Si no se cumplen estos supuestos, los resultados de un modelo de regresión lineal simple no serán fiables y es posible que no pueda realizar predicciones precisas.
Evaluación del modelo de regresión
Una forma de evaluar la capacidad predictiva de un modelo de regresión lineal simple es mediante el coeficiente de determinación (R²). Este coeficiente indica la proporción de la variabilidad de la variable dependiente que puede explicarse por la variabilidad de las variables independientes.
\[ R^2 = \frac{\sum_{i=1}^{n} (\hat{y}_i – \bar{y})^2}{\sum_{i=1}^{n} (y_i – \bar{y})^2} \]
De mana:
– \(\hat{y}_i\) es el valor predicho de \(Y\).
– \(y_i\) es el valor real de \(Y\).
– \(\bar{y}\) es el promedio de los valores de \(Y\).
El valor de \(R^2\) varía de 0 a 1. Un valor de \(R^2\) cercano a 1 indica que el modelo puede explicar la mayor parte de la variabilidad en la variable dependiente.
Implementación en lenguaje de programación
Para implementar una regresión lineal simple, podemos utilizar diversos programas estadísticos o lenguajes de programación. A continuación, se muestra un ejemplo de implementación en Python utilizando la biblioteca `scikit-learn`:
“`pitón
importar numpy como np
importar matplotlib.pyplot como plt
de sklearn.linear_model importar LinearRegression
de sklearn.metrics importar error_cuadrático_medio, puntuación_r2
Datos
X = np.array([[1], [2], [3], [4], [5]]).astype(np.float64)
y = np.array([1.5, 3.6, 3.5, 2.9, 5.5]).astype(np.float64)
Modelo
modelo = Regresión Lineal ()
modelo.ajuste (X, y)
Predicción
y_pred = modelo.predict(X)
Coeficiente
beta_0 = modelo.intercepto_
beta_1 = modelo.coef_[0]
print(f'Intercepción: {beta_0}')
print(f'Pendiente: {beta_1}')
print(f'Error cuadrático medio: {mean_squared_error(y, y_pred)}')
print(f'Coeficiente de determinación (R^2): {r2_score(y, y_pred)}')
Gráfico de datos y línea de regresión
plt.scatter(X, y, color='blue')
plt.plot(X, y_pred, color='red')
plt.xlabel('X')
plt.ylabel('Y')
plt.show ()
"`
En el ejemplo anterior, primero importamos las bibliotecas necesarias, definimos los datos \(X\) e \(Y\), y luego usamos el objeto `LinearRegression` de `scikit-learn` para ajustar un modelo a los datos. Una vez ajustado el modelo, realizamos predicciones y calculamos los coeficientes, así como el error cuadrático medio y el coeficiente de determinación. Finalmente, graficamos los datos y la línea de regresión.
conclusión
La regresión lineal simple es una potente herramienta de análisis estadístico que se utiliza para explicar la relación entre dos variables cuantitativas. Con supuestos básicos de linealidad, independencia, homocedasticidad y normalidad, podemos predecir el valor de la variable dependiente a partir de los valores de las variables independientes. El método de mínimos cuadrados proporciona una forma eficaz de ajustar una línea de regresión y determinar los parámetros óptimos. La evaluación del modelo mediante el coeficiente de determinación (R²) permite comprender su rendimiento.
Aunque la regresión lineal simple tiene limitaciones, como el hecho de solo poder manejar dos variables y los supuestos que deben cumplirse, esta técnica sigue siendo una base importante en estadística y análisis de datos, y a menudo se utiliza como primer paso para comprender la relación entre variables antes de pasar a métodos más complejos.
