El Modelo Lineal y sus Hipótesis

Admitiremos que la hipótesis estructural básica del modelo es Y = β₀ + β₁X + ε

X es una variable cuyos valores son conocidos al observar los valores de Y. ε es una variable aleatoria que engloba un conjunto de factores, cada uno de los cuales influye en la respuesta solo en pequeña magnitud pero que de forma conjunta debe tenerse en cuenta en la especificación y tratamiento del modelo. β₀ y β₁ son constantes fijas (no aleatorias) pero desconocidas, cuyos valores deberán ser estimados.

Para cada valor x_i fijo se verifica y_i = β₀ + β₁x_i + ε_i ; i = 1, . . . , N

donde las variables ε_i se consideran realizaciones de la variable de error.

Hipótesis añadidas sobre las variables de perturbación y variable explicativa:

Las perturbaciones tienen media cero E[ε_i] = 0 ; i = 1, . . . , N. Las perturbaciones tienen varianza constante (hipótesis de homocedasticidad). Var[ε_i] = σ² ; i = 1, . . . , N. Las perturbaciones son incorreladas entre sí. Cov[ε_i, ε_j] = E[ε_iε_j] = 0 ; i, j = 1, . . . , N (i ≠ j). Los valores de la variable X no son todos iguales, o sea, al menos hay dos observaciones distintas o, lo que es lo mismo, la variable X es no degenerada.

La esperanza de la respuesta depende linealmente de X: E[y_i] = β₀ + β₁x_i ; i = 1, . . . , N. La varianza de las variables y_i es constante: Var[y_i] = σ² ; i = 1, . . . , N. Las observaciones y_i son incorreladas entre sí: Cov[y_i, y_j] = 0 ; i, j = 1, . . . , N (i ≠ j).

β₀ representa el valor medio de la variable Y cuando la variable X vale cero. Asimismo β₁ es el incremento o disminución que experimenta la media de Y cuando X aumenta en una unidad.

Una relación lineal debe considerarse en general como una aproximación simple a una relación más compleja. La hipótesis de homocedasticidad no se cumplirá si la variabilidad depende, por ejemplo, de las observaciones de la variable independiente.

La incorrelación entre las perturbaciones es esperable en situaciones estáticas pero no lo será tanto en situaciones dinámicas.

Análisis de Varianza Residual y Contraste de Linealidad

Lo que nos preguntamos ahora es determinar hasta qué punto ese nuevo error adicional puede condicionar el error global de estimación. Para ello recurrimos a la descomposición de la variabilidad residual

El término de falta de ajuste representa las diferencias entre las medias observadas y las previstas por la recta de regresión, mientras el error puro mide las diferencias entre los valores observados y sus medias condicionadas, indicando el error experimental que no depende de la recta de regresión.

Para evaluar la hipótesis de linealidad, se comparan las medias muestrales observadas con las medias estimadas bajo la hipótesis de linealidad. La discrepancia entre estas estimaciones se mide mediante el término de falta de ajuste, y se busca determinar si esta discrepancia es significativa en comparación con el error puro.

Bajo la hipótesis nula, el estadístico en cuestión se distribuye como una F de Snedecor con d-2 y N-d grados de libertad. Este contraste es complementario al de regresión y puede darse el caso de que el contraste de regresión rechace la hipótesis nula, indicando una relación lineal entre X e Y, mientras que el contraste de falta de ajuste también la rechace. Esto significa que, aunque exista una relación lineal entre las variables, podría haber otro modelo lineal, posiblemente un modelo polinómico, que exprese mejor dicha relación.

El Teorema de Gauss-Markov y Funciones Estimables

El teorema de Gauss-Markov es la base teórica que justifica el uso del método de mínimos cuadrados en modelos lineales, demostrando que los estimadores de mínimos cuadrados ordinarios son óptimos porque tienen la mínima varianza entre los estimadores lineales. En este contexto, se introduce el concepto de función estimable, esencial en la teoría de modelos lineales.

Definición de Función Paramétrica

Se define una función paramétrica como una función lineal de los parámetros desconocidos β₀, β₁, . . . , β_k con coeficientes constantes c₀, c₁, . . . , c_k. ψ = sumatoria de c_iβ_i = c^tβ

Una función paramétrica ψ se dice estimable si posee un estimador lineal e insesgado, existe un vector a de constantes tal que E[a^ty] = ψ idénticamente en β.

La función paramétrica ψ = c^tβ es estimable si y solo sí c es una combinación lineal de las filas de X, o sea, si y solo si existe un vector a tal que c^t = a^tX.

Funciones Estimables en el Modelo de Regresión

Centrándonos en el modelo de regresión, notemos que cada parámetro β_i es una función estimable. En efecto, es una función paramétrica ya que β_i = e_i^tβ donde e_i = (0, . . . , 1, . . . , 0)^t y con ello:

Cualquier función paramétrica definida es estimable porque la matriz de diseño tiene rango completo, lo que significa que sus filas generan el espacio (k+1) dimensional y cualquier vector c puede expresarse como una combinación lineal de las filas de X. Además, solo puede haber como máximo k+1 funciones estimables independientes, ya que los vectores de constantes que las generan son independientes.

Teorema de Gauss-Markov

Sea y = Xβ + ε, con E[ε] = 0_n , Cov[ε] = σ²I_n. Sea ψ = c^t una función paramétrica estimable y consideremos β̂ = (X‘X)^-1X‘y el estimador de mínimos cuadrados. Entonces ψb = c^tβ̂ es el estimador lineal e insesgado de mínima varianza en la clase de estimadores lineales e insesgados de c^tβ.