5. El problema de las comparaciones múltiples: por qué probar 100 variantes casi garantiza ganadores por azar
Nivel 6: Contraste de hipótesis y sus trampas en backtesting
Un fin de semana, cinco ideas dando vueltas en la cabeza. Cuatro no acaban de convencer. La quinta se programa, se prueba y sale con un p-valor precioso.
Nunca escribiste una sola línea de código para las otras cuatro. Y aun así ya has contaminado el resultado de la quinta.
La semilla que dejó el módulo anterior
El módulo anterior dejó una semilla incómoda. Un umbral de significancia del 5% significa que, incluso para una estrategia genuinamente sin ninguna ventaja, hay aproximadamente un 5% de probabilidad de que pase el filtro igualmente, por puro azar.
El problema de las comparaciones múltiples es lo que ocurre cuando esa semilla se multiplica. Si pruebas muchas estrategias distintas, todas ellas sin ventaja real, cada una arrastra ese mismo riesgo individual de falso positivo, y esos riesgos se acumulan.
Las cuentas de las cien estrategias
La intuición se puede anclar con un número concreto, sin necesidad de fórmulas complicadas.
Supón que pruebas 100 estrategias completamente aleatorias y sin ninguna ventaja real, cada una con un umbral del 5%.
La probabilidad de que ninguna de ellas pase el filtro por azar es 0,95 multiplicado por sí mismo 100 veces, que da aproximadamente 0,006.
Es decir: la probabilidad de que al menos una de esas 100 estrategias de puro ruido parezca significativa es de aproximadamente el 99,4%.
Encontrar un ganador entre 100 variantes de ruido puro está prácticamente garantizado. Y ese hecho no dice absolutamente nada sobre si ese ganador tiene algo real detrás.
Dónde se genera el overfitting
Esto conecta directamente con cómo se genera el overfitting en la práctica, ahora con su mecanismo preciso a la vista. Estas son las formas habituales de multiplicar pruebas sin darse cuenta:
- Barridos de parámetros, como probar una estrategia de cruce de medias móviles con ventanas de 5, 10, 15, 20... hasta 200 días, es decir, decenas de combinaciones.
- Probar docenas de indicadores distintos.
- Ajustar reglas de entrada y salida una y otra vez.
- Probar el mismo concepto sobre distintos universos de activos, o sobre distintos subperiodos históricos, hasta que algo funciona.
Cada una de esas exploraciones es una comparación múltiple adicional, sin que el trader necesariamente lo perciba así.
Y la consecuencia es la que importa: el ganador final hereda todo el riesgo acumulado de falsos positivos de toda la búsqueda, no solo el riesgo de su propia prueba aislada.
Dónde está exactamente el problema
Es importante matizar dónde está el problema, porque no está donde muchos suponen.
Explorar muchas ideas no es, en sí mismo, ilegítimo. Es un proceso de investigación completamente normal y necesario.
El problema aparece cuando se reporta y se confía en el p-valor bruto del único resultado ganador como si fuese la única prueba que se hubiese hecho jamás.
Ese p-valor, tomado de forma aislada, subestima drásticamente la probabilidad real de haber llegado a ese resultado por puro azar, dado el número verdadero de intentos realizados.
Tres líneas de defensa
Existen tres líneas de defensa disciplinada frente a este problema, y conviene interiorizarlas como hábito, no como trámite ocasional.
La primera es llevar la cuenta honesta, y declararla, de cuántas variantes o ideas se probaron realmente. Incluidas todas las que se descartaron por el camino, no solo la ganadora.
La segunda es aplicar un umbral proporcionalmente más estricto cuantas más cosas se hayan probado. La intuición de corrección más simple es una división. Se divide el nivel de falsos positivos que estás dispuesto a tolerar en el conjunto de la búsqueda entre el número de pruebas realizadas.
Pon números a eso. Supón que probaste 50 variantes y que quieres mantener un riesgo global de falso positivo del 5% para el conjunto de la búsqueda. Entonces cada variante individual debería en realidad necesitar algo del orden de un p-valor por debajo de 0,001, que sale de dividir ese 5% entre 50. No simplemente por debajo de 0,05, para que te la tomes en serio.
La tercera, y la más sólida en la práctica, es la validación fuera de muestra. Y mejor todavía, fuera del tiempo usado para explorar.
Solo una prueba sobre datos recogidos y examinados después de haber fijado ya la variante ganadora te da un veredicto honesto y no contaminado por la propia búsqueda.
No hace falta ninguna mala intención
Vale la pena señalar una sutileza incómoda, que es la escena del principio de este módulo.
El problema de las comparaciones múltiples no requiere ninguna mala intención ni ningún bucle formal de 100 combinaciones programadas.
Basta con explorar informalmente cinco enfoques distintos en la cabeza durante un fin de semana, descartar mentalmente los cuatro que no convencieron, y reportar formalmente solo el quinto.
Con eso ya has incurrido exactamente en el mismo problema, aunque nunca se haya escrito una sola línea de código para las otras cuatro ideas.
La pregunta que hay que hacerse
El hábito mental que conviene llevarse de este módulo es sencillo de enunciar y difícil de practicar con honestidad.
Cada vez que te encuentres con un p-valor impresionantemente bajo sobre una única estrategia, la primera pregunta honesta que debes hacerte es esta: "¿entre cuántas cosas miré antes de quedarme con esta?"