3. Significancia estadística vs. significancia práctica
Nivel 6: Contraste de hipótesis y sus trampas en backtesting
Una estrategia puede ser estadísticamente impecable y, al mismo tiempo, garantizar pérdidas netas si se opera de verdad con dinero.
No es una paradoja ni un caso raro de laboratorio. Es lo que ocurre cuando se confunden dos preguntas que parecen la misma y no lo son en absoluto.
Dos preguntas que no son la misma
La significancia estadística y la significancia práctica responden a preguntas distintas, y tratarlas como si fuesen la misma cosa es, probablemente, el error más caro que puede cometer alguien que ya domina la mecánica del p-valor.
Mira lo que pregunta cada una:
- La significancia estadística responde a esto: ¿es improbable que este resultado sea puro ruido, dado el tamaño de la muestra?
- La significancia práctica, también llamada económica, responde a otra pregunta completamente distinta: si el efecto es real, ¿es lo bastante grande como para importar una vez descontados los costes de operar?
Son preguntas independientes entre sí. Puedes tener una sin la otra, las dos juntas, o ninguna de las dos.
Conviene recorrer las cuatro combinaciones con ejemplos concretos, porque cada una enseña algo distinto sobre cómo leer un backtest.
La combinación buena
La combinación buena es la que resulta significativa en los dos sentidos, el estadístico y el práctico.
Sería, por ejemplo, una estrategia de factor probada sobre quince años de datos de grandes compañías del S&P 500, con una rentabilidad media anualizada por encima del índice del 3% y un p-valor pequeño.
Ahí hay evidencia fiable de un efecto que además merece la pena perseguir.
Las cuentas de la combinación traicionera
La combinación traicionera es estadísticamente significativa pero prácticamente irrelevante, y merece un ejemplo numérico detallado porque es exactamente el escenario que este nivel te pide dominar.
Imagina una estrategia de reversión a la media de altísima frecuencia, probada sobre varios millones de operaciones históricas.
El p-valor sale minúsculo, del orden de 0,0001. Estadísticamente, la evidencia contra la idea de que esto es puro azar resulta aplastante.
Pero mira ahora el tamaño del efecto. La ventaja media estimada es de apenas un 0,008% por operación, antes de costes.
Y los costes reales de ejecutar esa operación —comisión, horquilla de compra-venta, deslizamiento— rondan fácilmente entre el 0,02% y el 0,05% por operación en una cuenta minorista.
La ventaja "real" es varias veces menor que el coste de capturarla. La estrategia es estadísticamente impecable y, al mismo tiempo, garantiza pérdidas netas si se opera de verdad.
Con muestras enormes esto es casi mecánico
Este escenario no es un caso extremo inventado para el ejemplo: es casi mecánico cuando trabajas con muestras enormes.
Con millones de observaciones, incluso un efecto absolutamente diminuto se vuelve estadísticamente improbable bajo el azar. La razón la viste en el módulo anterior: el p-valor se hace más pequeño cuanto mayor es la muestra, con independencia del tamaño real del efecto.
Piensa en el contexto actual, con datos de alta frecuencia y motores de backtest capaces de procesar años de información en segundos. En ese contexto, la significancia estadística sola deja de ser un filtro interesante, porque casi todo pasa el filtro si acumulas suficientes observaciones.
El filtro que realmente separa el trigo de la paja, en ese contexto, es el económico.
La trampa favorita del trader minorista
La tercera combinación es la contraria: prácticamente atractiva, pero sin respaldo estadístico.
Una estrategia muestra un 8% de rentabilidad media anualizada por encima del índice en apenas dieciocho meses de datos, y el número, aislado, entusiasma a cualquiera.
Pero con solo dieciocho meses y la variabilidad diaria típica de los mercados, el p-valor de ese resultado puede perfectamente rondar el 0,35, es decir, muy lejos de cualquier umbral razonable.
Conviene enunciar la conclusión con cuidado. El número es atractivo sobre el papel, pero la evidencia acumulada todavía no permite distinguirlo de la suerte.
La cuarta combinación, sin significancia de ningún tipo, se descarta sin mayor debate.
Dos hábitos de disciplina
De aquí se derivan dos hábitos que conviene incorporar a cualquier evaluación de estrategia:
- No conformarte con un veredicto binario de "pasa o no pasa el 0,05". Informa también, siempre, del tamaño del efecto en las unidades que importan, y no solo de si el p-valor cruzó una línea arbitraria. Es decir, rentabilidad media en porcentaje, idealmente con un rango plausible alrededor de esa cifra, recordando la idea de intervalo de confianza del nivel 3.
- Decidir, antes de mirar los resultados, cuál es el umbral económico mínimo que haría que la estrategia mereciese la pena operar en la práctica, dados sus costes reales y la complejidad operativa de mantenerla viva.
Solo si ese umbral económico se supera tiene sentido preguntarse después si además hay respaldo estadístico suficiente.
Lo que la significancia no dice sobre el camino
Merece la pena, por último, conectar esto con dos ideas del curso de teoría de mercados.
La significancia estadística no dice nada sobre el ratio de Sharpe ni sobre el drawdown de la estrategia.
Un efecto puede ser perfectamente real en el sentido estadístico y, aun así, venir acompañado de una montaña rusa de resultados tan pronunciada que resulte impracticable sostenerla con dinero real.
Hay dos preguntas, y siempre hay que hacerlas por separado: ¿es esto estadísticamente real?, y ¿merece la pena, en la práctica, aguantar esto?