5. Bondad de ajuste y las trampas del R cuadrado

Nivel 7: Diagnóstico Estadístico Riguroso

Para predecir bien Y esperamos que la variable independiente X explique cuanta más variación de Y mejor (por eso se la llama variable explicativa). Idealmente, la varianza de X ayuda a explicar la varianza de Y. Necesitamos entonces una forma de medir cómo de bueno es nuestro modelo, una medida de bondad de ajuste que cuantifique lo bien que el modelo estimado se ajusta a los datos.

La más conocida es el coeficiente de determinación, R cuadrado: el cociente entre la variación explicada y la variación total; equivalentemente, uno menos el cociente entre la suma de residuos al cuadrado y la variación total.

# R cuadrado = ESS / TSS = 1 - RSS / TSS
#   TSS: variacion total de Y alrededor de su media
#   ESS: variacion explicada por el modelo
#   RSS: suma de los residuos al cuadrado
modelo.rsquared
modelo.rsquared_adj

Cuanto más cerca esté de 1, más cerca están los valores observados de Y de los valores ajustados. Si vale exactamente 1, todos los puntos caen sobre la recta estimada y el ajuste es perfecto. Si los datos de Y y X no guardan relación lineal alguna, en una regresión simple valdría 0. Entre 0 y 1, se interpreta como la proporción de la variación de Y alrededor de su media que explica el modelo: un R cuadrado de 0,17 significa que el 17% de la variación de Y queda explicada por X.

Hasta aquí lo que todo el mundo sabe. Ahora las advertencias, que son lo que de verdad importa:

• No es válido comparar el R cuadrado de modelos con transformaciones distintas de la variable dependiente. Un modelo con Y y otro con el logaritmo de Y no son comparables por R cuadrado, porque la variación total que sirve de referencia es distinta. En cambio, sí es válido comparar un modelo lineal con uno lineal-logarítmico cuando ambos comparten la misma Y.
• El R cuadrado no mide la capacidad predictiva. Un modelo lineal puede ajustar muy bien la muestra y producir previsiones sin ningún sentido económico (por ejemplo, salarios negativos para pocos años de educación).
• Se calcula sobre los datos muestrales, así que no dice nada sobre si el modelo se parece al proceso generador de datos verdadero.
• Puede ser bajo por razones ajenas al modelo: si la varianza del error es grande, o si la varianza de X es pequeña.
• Puede ser alto aunque el modelo sea erróneo. Si la relación verdadera es no lineal, un modelo lineal puede exhibir un R cuadrado mayor que el cuadrático o el logarítmico.
• No depende de las unidades de medida. Pasar de dólares a miles de dólares no lo altera.

La conclusión del profesor es tajante: en ningún caso debe elegirse un modelo únicamente en función del R cuadrado.

En finanzas esto importa mucho. Un CAPM sobre una acción individual suele dar un R cuadrado modesto, del orden de 0,2, y es perfectamente normal: casi todo el movimiento de una acción concreta es idiosincrásico. Al revés, un R cuadrado de 0,99 en una regresión de precios (no de rentabilidades) no es buena noticia, sino la firma habitual de una regresión espuria entre series con tendencia. El R cuadrado ajustado penaliza el número de regresores y es preferible al comparar modelos con distinto número de factores, porque el R cuadrado simple nunca baja al añadir variables, sean útiles o no.