6. Sesgos de selección más allá del survivorship
Nivel 3: Estadística descriptiva e inferencial aplicada a mercados
Las estrategias que funcionan las ves todas. Salen en revistas, en conferencias, en catálogos de producto.
Las que no funcionan no las ve nadie. Se quedan en un cajón.
Ese desajuste, y otros tres parecidos, hacen que el material que llega a tus manos sea una muestra sistemáticamente engañosa del universo real de ideas de trading.
Más allá del survivorship bias
El sesgo de supervivencia clásico ya se vio en el curso de teoría de mercados: quedarse solo con las empresas o fondos que siguen existiendo hoy, ignorando a los que quebraron o desaparecieron.
Pero hay una familia más amplia de sesgos de selección de muestra que operan con la misma lógica perversa: la muestra que terminas observando no es representativa del universo real de posibilidades.
Son igual de relevantes que el survivorship bias, o más, para juzgar el trabajo cuantitativo serio.
El problema del cajón
El primero es el sesgo de supervivencia de las estrategias publicadas, a veces llamado problema del cajón (file drawer problem).
Cuando un investigador, un fondo o un divulgador prueba miles de ideas de trading a lo largo de los años, la inmensa mayoría no funciona y nunca ve la luz. Se quedan en el cajón: sin publicarse, sin artículo, sin producto comercial.
Solo las estrategias que mostraron buenos resultados —por casualidad o por mérito genuino— llegan a publicarse en revistas académicas, presentarse en conferencias o venderse como producto financiero.
El resultado es que el conjunto de estrategias que el público llega a ver está sistemáticamente sesgado hacia el éxito aparente. No porque el trading cuantitativo funcione mejor de lo que en realidad funciona, sino porque el proceso de selección para la publicación filtra los fracasos.
Míralo con números. Si se prueban mil variantes de una estrategia sin ningún poder predictivo real, por puro azar estadístico algunas mostrarán resultados espectaculares en el periodo probado.
Son precisamente esas las que se publican y circulan, mientras las 990 restantes desaparecen sin dejar rastro. Un profano que solo ve el catálogo de estrategias que funcionan en internet o en revistas está observando una muestra radicalmente sesgada del universo real de ideas.
La prehistoria que se añade sola
El segundo es el sesgo de historial retrospectivo (backfill bias o instant history bias), muy documentado en bases de datos de fondos de inversión e índices.
Cuando un fondo se incorpora por primera vez a una base de datos comercial —por ejemplo, una de hedge funds— a menudo aporta también su historial anterior a la fecha de incorporación. Esa prehistoria se añade retroactivamente a la base de datos como si el fondo siempre hubiera estado ahí.
El problema es cuándo deciden registrarse los fondos:
- Tienden a darse a conocer precisamente después de un periodo de buenos resultados. Nadie se apresura a publicitar su historial cuando acaba de tener un mal año.
- Los fondos que tuvieron un mal comienzo y cerraron antes de hacerse conocidos nunca llegan a aportar ese historial deficiente, porque dejaron de existir antes de registrarse.
El resultado es que el historial completo que se ve en la base de datos, incluyendo los años previos al registro oficial, está inflado. Contiene desproporcionadamente los años buenos de fondos que sobrevivieron para contarlo, y no contiene los años malos de los que no sobrevivieron lo suficiente para registrarse.
Este mismo fenómeno ocurre con índices bursátiles temáticos o factoriales que se lanzan hoy pero publican un histórico simulado hacia atrás. Ese histórico retroactivo suele construirse con el beneficio de saber ya qué compañías o qué factores funcionaron.
Es un tipo distinto y más sutil de mirar hacia el futuro al construir el pasado. Está relacionado con el look-ahead bias visto en el curso de mercados, pero aplicado a la construcción del universo o del índice, no a la señal de trading.
Mil variantes, una ganadora
El tercero es quizás el más insidioso, porque no requiere ninguna mala intención: el sesgo de comparaciones múltiples, o data snooping.
Si pruebas una sola estrategia una vez sobre un conjunto de datos y obtienes un resultado estadísticamente significativo, la interpretación estándar es razonablemente fiable.
Pero imagina que pruebas mil variantes distintas sobre el mismo conjunto de datos —distintos periodos de media móvil, distintos umbrales, distintos filtros— y te quedas solo con la mejor. Has cambiado por completo el problema estadístico sin cambiar el procedimiento de evaluación.
Por pura probabilidad, entre mil variantes sin ningún poder predictivo real, es casi seguro que varias muestren un resultado que parece estadísticamente significativo solo por azar.
Es la misma aritmética de las monedas: lanzar una moneda mil veces en grupos de veinte producirá, casi con certeza, algún grupo de veinte con dieciséis o más caras, aunque la moneda sea perfectamente equilibrada.
Elegir la mejor de mil variantes y reportar solo su resultado es, por tanto, una forma de sesgo de selección tan grave como el survivorship bias clásico. Sobre todo si no se hace ninguna de estas dos cosas:
- Ajustar el umbral de significancia estadística por el número de pruebas realizadas.
- Validar en datos genuinamente nuevos.
Y es extremadamente común en la práctica, porque el propio proceso de optimizar una estrategia sobre datos históricos es, estructuralmente, una búsqueda entre miles de variantes.
El universo reconstruido hacia atrás
Por último, un sesgo relacionado pero distinto del survivorship bias de empresas: el sesgo de construcción retrospectiva del universo de inversión.
Al construir hoy el histórico de qué empresas formaban el S&P 500 en 2005 para hacer un backtest, es fácil usar la composición actual del índice en lugar de la composición histórica real. Suele hacerse por comodidad de los datos disponibles.
El problema es que así se incluyen empresas que en 2005 ni siquiera cotizaban en bolsa, o no cumplían los criterios de inclusión de entonces.
Esto no es exactamente lo mismo que ignorar empresas que quebraron, el survivorship bias clásico. Es un error de construcción del universo de análisis: se está probando la estrategia sobre un conjunto de empresas que en la realidad de esa fecha no era el universo investible disponible.
También infla artificialmente los resultados, si las empresas añadidas retroactivamente son las que después tuvieron éxito. Y lo son por definición: son las que llegaron a formar parte del índice actual.
Ninguno se cura con más datos
Lo que comparten estos cuatro sesgos es determinante: ninguno se corrige recopilando más datos del mismo tipo. Son defectos estructurales de cómo se construyó la muestra, no defectos de tamaño muestral.
La única defensa real es metodológica:
- Usar bases de datos que incluyan explícitamente entidades desaparecidas, libres de sesgo de supervivencia.
- Desconfiar de históricos simulados retroactivamente.
- Ajustar los criterios de significancia estadística cuando se han probado múltiples variantes.
- Reconstruir el universo de inversión tal y como era realmente en cada fecha histórica, no como es hoy.