Análise de regresión lineal simple
A regresión lineal simple é unha técnica estatística que se emprega para analizar a relación entre dúas variables cuantitativas. A variable que intentamos predicir chámase variable dependente ou de resposta, mentres que a variable empregada para facer a predición chámase variable independente ou preditora. Na regresión lineal simple, tentamos atopar a mellor liña recta que describa a relación entre estas dúas variables.
Conceptos básicos da regresión lineal simple
A regresión lineal simple baséase na suposición de que existe unha relación lineal entre a variable dependente \(Y\) e a variable independente \(X\). A forma xeral dun modelo de regresión lineal simple é:
Y = β0 + β1 X + ε
Onde:
– \(Y \) é a variable dependente.
– \(X\) é a variable independente.
– \( \beta_0 \) é a intersección co eixe, que é o valor de \(Y\) cando \(X = 0\).
– \( \beta_1 \) é a pendente ou gradiente, que é o cambio medio en \(Y\) para cada cambio unitario en \(X\).
– \(\epsilon\) é o erro ou termo residual que representa a variabilidade en \(Y\) que non se pode explicar por \(X\).
O obxectivo da regresión lineal simple é estimar os parámetros \(\beta_0\) e \(\beta_1\) para que o modelo poida empregarse para predicir o valor de \(Y\) asociado co valor de \(X\).
Método dos mínimos cadrados
Un dos métodos máis empregados para axustar un modelo de regresión lineal simple é o método dos mínimos cadrados. Este método ten como obxectivo minimizar a suma dos cadrados das desviacións verticais entre as observacións reais e os valores predicidos polo modelo. Supoñamos que temos n observacións que consisten en pares \((x_i, y_i)\) para \(i = 1, 2, …, n\). A función a minimizar é:
S(β0, β1) = \sum_{i=1}^{n} (yi – (β0 + β1 x_i))^2 \]
Para atopar \(\beta_0\) e \(\beta_1\) que minimicen esta función, tomamos as derivadas parciais de \(S(\beta_0, \beta_1)\) con respecto a cada parámetro e poñemos estas derivadas a cero. O cálculo matemático pódese simplificar do seguinte xeito:
\[ β1 = \frac{\sum_{i=1}^{n} (x_i – \bar{x})(y_i – \bar{y})}{\sum_{i=1}^{n} (x_i – \bar{x})^2} \]
\[ \beta_0 = \bar{y} – \beta_1 \bar{x} \]
Onde:
– \(\bar{x}\) é a media de \(X\)
– \(\bar{y}\) é a media de \(Y\)
Despois de obter os parámetros \(\beta_0\) e \(\beta_1\), pódese empregar un modelo de regresión lineal simple para predicir o valor de \(Y\) para cada valor de \(X\).
Suposicións na regresión lineal simple
Para obter resultados válidos e fiables, a regresión lineal simple asume varias cousas:
1. Linearidade: A relación entre a variable dependente e a variable independente debe ser lineal.
2. Independencia: As observacións deben ser independentes entre si.
3. Homoscedasticidade: A variabilidade residual debe ser constante en todo o rango de valores da variable independente.
4. Normalidade residual: os residuos (erros) deben seguir unha distribución normal.
Se non se cumpren estas suposicións, os resultados dun modelo de regresión lineal simple non serán fiables e pode que non permitan facer predicións precisas.
Avaliación do modelo de regresión
Un xeito de avaliar o ben que predixo un modelo de regresión lineal simple é usar o coeficiente de determinación (\(R^2\)). O coeficiente de determinación mostra a proporción de variabilidade na variable dependente que se pode explicar pola variabilidade nas variables independentes.
\[ R^2 = \frac{\sum_{i=1}^{n} (\hat{y}_i – \bar{y})^2}{\sum_{i=1}^{n} (y_i – \bar{y})^2} \]
Onde:
– \(\hat{y}_i\) é o valor predicido de \(Y\).
– \(y_i\) é o valor real de \(Y\).
– \(\bar{y}\) é a media dos valores de \(Y\).
O valor de \(R^2\) oscila entre 0 e 1. Un valor de \(R^2\) próximo a 1 indica que o modelo pode explicar a maior parte da variabilidade da variable dependente.
Implementación en linguaxe de programación
Para implementar unha regresión lineal simple, podemos usar varios softwares estatísticos ou linguaxes de programación. A continuación móstrase un exemplo de implementación en Python usando a biblioteca `scikit-learn`:
"pitón"
importar numpy como np
importar matplotlib.pyplot como plt
importar Regresión Lineal desde sklearn.linear_model
importar erro_cadrádico_medio, puntuación_r2 de sklearn.metrics
Data
X = np.array([[1], [2], [3], [4], [5]]).astype(np.float64)
y = np.array([1.5, 3.6, 3.5, 2.9, 5.5]).astype(np.float64)
modelo
modelo = Regresión lineal()
modelo.axuste(X, y)
Predición
y_pred = modelo.predict(X)
Coeficiente
beta_0 = modelo.interceptación_
beta_1 = modelo.coef_[0]
imprimir(f'Interceptación: {beta_0}')
imprimir(f'Pendente: {beta_1}')
imprimir(f'Erro cadrado medio: {erro_cadrado_medio(y, y_pred)}')
imprimir(f'Coeficiente de determinación (R^2): {r2_score(y, y_pred)}')
Gráfico de datos e liña de regresión
plt.scatter(X, y, cor='azul')
plt.plot(X, y_pred, cor='vermello')
plt.xlabel('X')
plt.ylabel('Y')
plt.show()
“
No exemplo anterior, primeiro importamos as bibliotecas necesarias, definimos os datos \(X\) e \(Y\) e, a seguir, usamos o obxecto `LinearRegression` de `scikit-learn` para axustar un modelo aos datos. Unha vez axustado o modelo, facemos predicións e calculamos os coeficientes, así como o erro cuadrático medio e o coeficiente de determinación. Finalmente, representamos os datos e a recta de regresión.
Conclusión
A regresión lineal simple é unha potente ferramenta de análise estatística que se emprega para explicar a relación entre dúas variables cuantitativas. Con algunhas suposicións básicas sobre linealidade, independencia, homocedasticidade e normalidade, podemos predicir o valor da variable dependente en función dos valores das variables independentes. O método dos mínimos cadrados proporciona unha forma eficaz de axustar unha recta de regresión e determinar os parámetros óptimos. A avaliación do modelo mediante o coeficiente de determinación (R2) proporciona información sobre o rendemento do noso modelo.
Aínda que a regresión lineal simple ten limitacións, como a capacidade de manexar só dúas variables e as suposicións que deben cumprirse, esta técnica segue a ser unha base importante na estatística e na análise de datos, e adoita empregarse como primeiro paso para comprender a relación entre as variables antes de pasar a métodos máis complexos.
