2. Muestra vs población: por qué un backtest es siempre una muestra, nunca la verdad completa

Nivel 3: Estadística descriptiva e inferencial aplicada a mercados

Puedes lanzar una moneda cien veces más. Con el mercado no puedes: el mercado solo ha ocurrido una vez.

Esa asimetría, que parece filosófica, es en realidad la limitación más dura de todo backtest. Y explica por qué ninguna cifra que salga de uno significa lo que parece significar.

Población y muestra

En estadística, la población es el conjunto completo —a menudo infinito o inobservable— de todos los resultados posibles que un proceso podría generar. La muestra es el subconjunto finito de datos que efectivamente tenemos delante.

Con una moneda, la distinción es limpia. La población conceptual es el conjunto de todos los lanzamientos posibles bajo esas condiciones físicas, y cada tanda real de 100 lanzamientos es solo una muestra de esa población.

Trasladado a mercados, la pregunta se vuelve incómoda: ¿cuál es la población de la que un backtest del S&P 500 entre 2015 y 2024 es una muestra?

¿De qué población es muestra un backtest?

La respuesta correcta y perturbadora es que no existe una población fija y bien definida de la que puedas extraer más datos a voluntad, como sí puedes hacer lanzando más monedas.

Los precios de 2015-2024 no son una muestra aleatoria extraída de un conjunto de posibles historias del S&P 500 de las que el mercado eligió una al azar.

Es la única trayectoria que realmente sucedió. Y estuvo condicionada por decisiones de política monetaria, eventos geopolíticos concretos, la composición sectorial del índice en ese momento y un sinfín de factores que no se repetirán exactamente igual.

Ahora piensa en un backtest que reporta un Sharpe de 1.3 en ese periodo. Esa cifra no es una estimación del Sharpe verdadero del S&P 500 en el sentido en que la media de una muestra de lanzamientos de moneda estima la probabilidad verdadera de cara.

Es, en el mejor de los casos, la estimación de un parámetro de un proceso generador de datos hipotético que asumimos estable. Y en el peor, simplemente la descripción de un episodio histórico irrepetible.

Dos consecuencias prácticas

La primera es que todo estadístico calculado sobre un backtest es una estimación muestral, sujeta a error de muestreo, nunca la verdad sobre el activo. Eso incluye la rentabilidad media, la volatilidad, el Sharpe y el máximo drawdown.

La segunda, más sutil, es el problema de la estacionariedad. Para que tenga sentido hablar de muestra de una población, esa población debería ser razonablemente estable en el tiempo que cubre la muestra.

Pero los mercados no son estacionarios en el sentido estadístico estricto:

• La volatilidad cambia de régimen. Compara 2017, un año extraordinariamente tranquilo, con 2020, con caídas del 30% en semanas.
• Los tipos de interés alteran las primas de riesgo.
• La composición del índice cambia: entran y salen empresas, y el peso de la tecnología ha crecido enormemente en dos décadas.
• La propia estructura de mercado se transforma con el trading algorítmico y la fragmentación de la liquidez.

Si la población subyacente cambia mientras tomas la muestra, ni siquiera está claro qué estás estimando. Puede que el Sharpe verdadero de 2015-2019 y el de 2020-2024 sean simplemente parámetros de procesos distintos. Promediarlos en un solo backtest de diez años produciría entonces un número que no describe bien a ninguno de los dos periodos.

El pasado como historia y el pasado como muestra

Una forma útil de pensarlo es distinguir dos usos del mismo periodo histórico:

• El pasado como historia: lo que efectivamente ocurrió. Un hecho fijo, sin incertidumbre estadística en sí mismo.
• El pasado como muestra: lo que ese episodio nos permite inferir, con incertidumbre, sobre el comportamiento futuro del activo.

La estadística descriptiva se ocupa de la primera tarea: resumir con precisión qué pasó.

La inferencia estadística se ocupa de la segunda, y se retoma con más detalle en el último módulo de este nivel. Exige asumir, explícita o implícitamente, que hay algo estable detrás de los datos que se puede seguir usando para hablar del futuro.

Dónde empieza el salto a la inferencia

La frontera es más fácil de ver con un ejemplo.

Un backtest que reporta solo estadística descriptiva —"en este periodo, la estrategia ganó un 12% anual"— está siendo honesto sobre el pasado.

Un backtest que además afirma o insinúa que, por tanto, la estrategia ganará un 12% anual en el futuro ha dado el salto a la inferencia. Y ese salto necesita justificación adicional.

La pregunta que hay que hacerle es siempre la misma: ¿por qué el mecanismo que generó esa rentabilidad seguiría operando igual en un régimen de mercado distinto?

Entonces, ¿sirven los backtests?

Nada de esto significa que los backtests sean inútiles. Son el único instrumento disponible para evaluar estrategias antes de arriesgar capital real.

Lo que exige es tratarlos con la humildad correcta: como una muestra, posiblemente no representativa, de un proceso que ni siquiera sabemos si es estable.

Y hay una regla razonable que se deduce de ahí. Cuanto más corto es el periodo del backtest, menos confianza debería inspirar como estimación de lo que ocurrirá bajo condiciones distintas. Lo mismo vale si está concentrado en un único régimen de mercado: por ejemplo, solo el mercado alcista de 2013-2019, sin ninguna recesión.

Los siguientes dos módulos, intervalos de confianza y error estándar, dan las herramientas concretas para cuantificar cuánta incertidumbre rodea a una estimación muestral como esta, en lugar de tratarla como un hecho.