7. Un test honesto antes de arriesgar un euro
Nivel 6: Contraste de hipótesis y sus trampas en backtesting
Superar un protocolo riguroso no demuestra que tu estrategia funcione.
Te gana el derecho a tomártela en serio, que es una cosa bastante distinta y bastante más modesta de lo que suele creerse.
Este módulo final no introduce herramientas nuevas, sino que reúne todo lo visto en el nivel dentro de un protocolo concreto, paso a paso, para poner a prueba una estrategia antes de arriesgar dinero real.
Lo que se reúne es esto:
- El marco H0/H1.
- La lectura correcta del p-valor.
- La distinción entre significancia estadística y práctica.
- La conciencia de los errores de tipo I y II.
- La disciplina frente a las comparaciones múltiples y el data snooping.
Antes de tocar los datos
El primer paso es definir la hipótesis y la métrica de éxito antes de mirar los datos que se van a usar para juzgarla.
Esto significa escribir, en términos precisos, qué significará éxito numéricamente. Por ejemplo: rentabilidad media anualizada por encima del índice de referencia, calculada después de descontar costes de transacción realistas.
Y significa también dejar explícitas las hipótesis H0 y H1, todo ello antes de ejecutar absolutamente nada sobre los datos que servirán de juicio final.
El segundo paso es separar honestamente los datos disponibles en dos partes bien distintas:
- Una ventana de exploración y desarrollo.
- Una ventana de confirmación, que queda completamente bloqueada e intacta hasta el final.
La tentación de echar un vistazo rápido a la ventana de confirmación mientras todavía se está afinando la estrategia es precisamente lo que arruina toda la separación, así que hay que resistirla con disciplina explícita.
Contar tu propia búsqueda
El tercer paso es contar y declarar la propia búsqueda.
Si durante el desarrollo se probaron varias combinaciones de parámetros, indicadores o universos de activos, hay que llevar un registro honesto de cuántas fueron, y aplicar después el umbral más estricto que corresponda según el módulo 5.
Existe una alternativa más sencilla todavía y bastante más limpia, que consiste en tratar toda esa fase exploratoria como generadora de hipótesis, no como confirmadora de nada, y depositar la totalidad del peso de la prueba en la ventana de confirmación intacta.
El disparo único
El cuarto paso es ejecutar, una sola vez, el test único y predefinido sobre los datos de confirmación.
El p-valor que salga de ahí se interpreta exactamente como en el módulo 2. Te dice qué tan sorprendente sería este resultado si en realidad no hubiese ninguna ventaja real, y no te dice absolutamente nada más ni nada menos que eso.
¿Merece la pena de verdad?
El quinto paso es evaluar, por separado, la significancia práctica.
Incluso si el resultado es estadísticamente significativo, hay que preguntarse si la ventaja estimada es lo bastante grande como para justificar la complejidad operativa, el esfuerzo de monitorización y el riesgo de operarla en vivo.
Y esa ventaja estimada tiene que venir ya descontada de todo esto:
- Los costes reales de operar.
- Estimaciones razonables de deslizamiento.
- Las limitaciones de capacidad de la estrategia, es decir, cuánto capital puede absorber antes de que su propio impacto en el mercado erosione la ventaja.
Conviene además reportar un rango de la magnitud del efecto, recordando la idea de intervalo de confianza del nivel 3, y no solo una etiqueta binaria de pasa o no pasa.
Cuánto rigor según lo que arriesgas
El sexto paso es sopesar la asimetría de errores según el caso concreto, porque no todas las asignaciones de capital merecen el mismo listón:
- Si la estrategia va a operar con apalancamiento o con una asignación de capital grande, conviene inclinarse hacia un umbral más estricto. Aceptas de antemano una mayor probabilidad de descartar por error alguna oportunidad real, es decir, más errores de tipo II. Y lo aceptas a cambio de reducir el riesgo de un falso positivo costoso, es decir, un error de tipo I.
- Para una asignación pequeña y exploratoria, un umbral más permisivo puede ser perfectamente razonable.
Sostener la conclusión con humildad
El séptimo y último paso es sostener la conclusión final con humildad, incluso después de haber superado todos los pasos anteriores correctamente.
El contraste de hipótesis reduce el riesgo de autoengaño. No lo elimina.
Los mercados cambian de régimen, y una relación que fue genuinamente real en el pasado puede simplemente dejar de sostenerse en el futuro. Es la misma idea de no-estacionariedad que viste, aplicada a series temporales, en el nivel 5.
Merece la pena decirlo con la máxima precisión posible. Superar un test riguroso te gana el derecho a tomarte una estrategia en serio, pero no te da ninguna garantía sobre su comportamiento futuro.
La práctica sensata, tras superar el protocolo, es empezar con una asignación de capital modesta y seguir monitorizando el desempeño en vivo o en papel frente a la misma hipótesis predefinida.
Ese seguimiento hay que tratarlo como una continuación del test, no como un veredicto ya cerrado en el backtest inicial.
Lo que significa todo esto
Para cerrar el nivel conviene reformular la idea central con la que empezó el primer módulo.
Hacer trading cuantitativo riguroso no consiste en encontrar una fórmula mágica que demuestre que una estrategia funciona.
Consiste en una disciplina de hacerle preguntas difíciles a tus propias ideas, en el orden correcto, antes de dejarlas acercarse a dinero real.
Toda la maquinaria estadística de este nivel existe con un único propósito, y ahí entra la lista completa: hipótesis nula, p-valor, significancia práctica, errores de tipo I y II, comparaciones múltiples, data snooping. Ese propósito es hacer que tu propio optimismo rinda cuentas ante la evidencia, en lugar de al revés.