7. De la estadística descriptiva a la inferencial: el salto que exige el backtesting serio
Nivel 3: Estadística descriptiva e inferencial aplicada a mercados
"La estrategia ganó un 11% en el backtest." "La estrategia tiene una ventaja real."
Suenan a la misma frase dicha de dos maneras. No lo son. La primera es un hecho verificable sobre el pasado; la segunda es una apuesta sobre el futuro que necesita muchísimo más respaldo.
Distinguirlas es el salto que convierte un backtest ingenuo en un backtest serio, y es probablemente la idea más importante de todo el nivel.
Dos formas de usar los mismos números
Todo lo visto hasta ahora en este nivel —medias, medianas, error estándar, intervalos de confianza, outliers, sesgos de muestra— converge en una distinción conceptual que separa dos formas completamente distintas de usar los números:
- La estadística descriptiva.
- La estadística inferencial.
Lo que describe: la parte fácil
La estadística descriptiva se limita a resumir lo que efectivamente ocurrió en el conjunto de datos que tienes delante, sin decir nada sobre lo que ocurrirá fuera de esos datos.
Toma esta frase: "en este backtest, la estrategia ganó un 11% de media anual, con una volatilidad del 14% y un drawdown máximo del 22%".
Es, en su totalidad, una afirmación descriptiva. Describe con precisión un episodio histórico concreto, y es tan verdadera o falsa como cualquier otro hecho verificable sobre el pasado.
No requiere ningún supuesto sobre el futuro, ninguna teoría sobre por qué funcionó, ninguna afirmación sobre qué pasará el año que viene.
Es, en ese sentido, la parte fácil y segura del análisis: calcular correctamente estos números es un ejercicio aritmético, no probabilístico.
Lo que infiere: la parte arriesgada
La estadística inferencial da un paso mucho más arriesgado. Usa esos mismos datos de muestra para hacer afirmaciones sobre algo que no se ha observado directamente.
Ese algo puede ser el comportamiento futuro del activo. O el valor verdadero de un parámetro en la población subyacente de la que la muestra se extrajo, el concepto de población visto en el segundo módulo de este nivel.
Volvamos a las dos frases del principio. "La estrategia ganó un 11% en el backtest" es descriptivo. "La estrategia tiene una ventaja real y seguirá generando rentabilidad positiva" es inferencial.
Y esa segunda afirmación exige asumir tres cosas:
- Que el proceso que generó esos datos es razonablemente estable, es decir, que no cambia de régimen de forma impredecible.
- Que la muestra es representativa y no está distorsionada por los sesgos de selección vistos en el módulo anterior.
- Que el resultado observado no es simplemente ruido estadístico indistinguible de lo que produciría el azar.
El contraste de hipótesis
El marco formal más habitual para dar ese paso con rigor es el contraste de hipótesis. Se plantean dos:
- La hipótesis nula representa el escenario aburrido por defecto: típicamente, que la estrategia no tiene ninguna ventaja real y que su rentabilidad esperada verdadera es cero. Bajo ella, cualquier resultado positivo observado sería pura casualidad de esa muestra concreta.
- La hipótesis alternativa dice que la estrategia sí tiene una ventaja genuina y distinta de cero.
Aquí hay un matiz esencial. El análisis estadístico no puede demostrar la hipótesis alternativa de forma directa.
Lo que hace es otra cosa: calcular qué tan sorprendente sería el resultado observado —por ejemplo, un 11% de rentabilidad media anual con esa volatilidad y ese número de observaciones— si la hipótesis nula fuera cierta y la estrategia no tuviera ninguna ventaja real.
Esa medida de sorpresa es el p-valor: la probabilidad de observar un resultado tan extremo, o más extremo, que el obtenido, asumiendo que la hipótesis nula es cierta.
Un p-valor pequeño, convencionalmente por debajo de 0.05, significa que el resultado observado sería poco probable si realmente no hubiera ninguna ventaja real. Eso se interpreta como evidencia en contra de la hipótesis nula, no como una prueba definitiva de que la estrategia funciona.
Qué NO es el p-valor
Conviene desmontar la mala interpretación más común del p-valor. Está tan extendida como la mala interpretación de los intervalos de confianza que viste antes.
Un p-valor de 0.03 no significa que haya un 3% de probabilidad de que la estrategia no funcione. Ni un 97% de probabilidad de que sí funcione.
El p-valor es una probabilidad calculada bajo el supuesto de que la hipótesis nula es cierta.
No es la probabilidad de que la hipótesis nula sea cierta dado lo que se ha observado. Esa sería una pregunta distinta, y en general más útil, que requiere herramientas adicionales para responderse con propiedad.
Confundir ambas cosas es uno de los errores estadísticos más comunes y persistentes, dentro y fuera de las finanzas.
El puente con las comparaciones múltiples
La conexión con el módulo anterior es directa y crítica. El marco del contraste de hipótesis, tal como se ha descrito, asume implícitamente que se ha hecho una sola prueba.
Supón que en realidad se probaron dos mil variantes de una estrategia y solo se reporta la que tuvo el p-valor más bajo. Ese p-valor ya no significa lo que el marco estándar asume que significa.
Hace falta corregir el umbral de significancia por el número de comparaciones realizadas, y existen métodos estadísticos específicos para ello. Si no, el resultado seguirá pareciendo mucho más sólido de lo que realmente es.
Este es exactamente el motivo por el que la validación fuera de muestra es indispensable en la práctica cuantitativa seria: probar la estrategia final, una sola vez, sobre datos que no se usaron en absoluto durante el proceso de búsqueda y optimización.
Es la única forma de obtener una prueba estadística razonablemente limpia, no contaminada por haber espiado los datos miles de veces antes de decidir qué estrategia reportar.
La estadística no promete certeza
La estadística, entendida correctamente, no promete certeza. Su función no es demostrar que una estrategia funciona con un sello inapelable.
Su función es cuantificar con honestidad dos cosas. La primera, cuánta sorpresa merece un resultado si no hubiera ninguna ventaja real detrás. La segunda, cuánta incertidumbre rodea a cualquier estimación hecha a partir de una muestra finita, potencialmente sesgada y extraída de un proceso que podría no ser estable en el tiempo.
Ese es, en última instancia, el salto que separa dos formas de mirar el mismo backtest. Una ve una promesa de rentabilidad futura. La otra ve una pieza de evidencia parcial, que hay que sopesar con el rigor de todo lo aprendido en este nivel:
- La posible asimetría de la media.
- El tamaño real de la muestra frente a la población que se pretende describir.
- La anchura del intervalo de confianza detrás del número puntual.
- El origen de cada outlier.
- Los sesgos estructurales que pudieron inflar el resultado antes incluso de empezar a analizarlo.