3. Intervalos de confianza: cuantificar cuánto no sabemos

Nivel 3: Estadística descriptiva e inferencial aplicada a mercados

Dos estrategias estiman exactamente lo mismo: un 9% de rentabilidad media anual.

Una de ellas merece que le confíes dinero. La otra, no. Y ese 9% no te dice cuál.

De la estimación puntual al rango

Dar un solo número como resultado de un análisis transmite una falsa sensación de precisión. "La rentabilidad anual esperada es 8%." "El Sharpe de la estrategia es 1.1."

Ese número es una estimación puntual: el mejor valor único que los datos sugieren. Pero está calculado a partir de una muestra limitada y, por tanto, rodeado de incertidumbre.

Un intervalo de confianza es la herramienta que convierte esa estimación puntual en un rango de valores plausibles. Va acompañado de un nivel de confianza, que indica cuánto se puede confiar en el procedimiento usado para construirlo.

Qué significa, y qué no, un 95%

Es fundamental entender qué significa exactamente un intervalo de confianza del 95%. Es una de las ideas peor explicadas, y peor entendidas, de toda la estadística aplicada.

No significa que haya un 95% de probabilidad de que el valor verdadero esté dentro de ese intervalo concreto que acabas de calcular.

Una vez calculado, el intervalo es fijo: o contiene el valor verdadero o no lo contiene. No hay grados intermedios de probabilidad sobre ese hecho ya determinado.

Lo que realmente significa el 95% es una propiedad del procedimiento. Si repitieras el proceso de tomar una muestra y calcular el intervalo muchísimas veces, aproximadamente el 95% de esos intervalos contendrían el valor verdadero de la población.

Fíjate en el sujeto de esa frase: el 95% se refiere al método en general, no a esa observación puntual. Es una afirmación sobre la fiabilidad del método a largo plazo, no una probabilidad directa sobre la cifra concreta que salió.

Dos estrategias con el mismo 9%

Apliquemos esto a un backtest.

Supón que una estrategia arroja una rentabilidad media anual estimada del 9%, con un intervalo de confianza del 95% de [2%, 16%].

Esa amplitud —14 puntos porcentuales de rango— es información crucial que el número puntual esconde por completo. Los datos son compatibles con un rendimiento mediocre del 2% y también con uno excelente del 16%.

El verdadero valor podría estar en cualquier punto de ese rango amplio. O fuera de él, porque el 95% no es 100%.

Ahora compara con otra estrategia que también estima un 9% de media anual, pero con un intervalo de [7%, 11%]. Aunque el punto central es idéntico, la segunda estimación es muchísimo más informativa y fiable.

Dos estrategias con la misma rentabilidad esperada en el titular pueden merecer una confianza radicalmente distinta.

Qué hace ancho a un intervalo

¿Qué determina la anchura de un intervalo de confianza? Dos factores principales, que se retoman con más detalle en el módulo siguiente:

• La variabilidad de los datos subyacentes. Una serie de rentabilidades muy volátil produce intervalos más anchos que una serie estable, a igualdad de todo lo demás.
• El tamaño de la muestra. Más observaciones, en igualdad de condiciones, producen intervalos más estrechos.

También influye el nivel de confianza elegido. Pedir un 99% de confianza en lugar de un 95% obliga a ensanchar el intervalo, porque exigir mayor fiabilidad al procedimiento solo puede lograrse abarcando un rango más amplio de valores plausibles.

Hay, por tanto, un intercambio ineludible entre precisión (intervalo estrecho) y confianza (alta probabilidad de acierto del método).

Los rankings que no significan nada

En el contexto de evaluar estrategias cuantitativas, tener presentes los intervalos cambia por completo cómo se compara el rendimiento entre estrategias.

Conviene saber, además, que en la mayoría de los backtests financieros los intervalos son anchos por defecto, dada la escasez relativa de datos independientes.

Es habitual ver rankings de estrategias ordenados solo por su rentabilidad puntual o su Sharpe puntual, como si esas cifras fueran mediciones exactas y libres de error.

Si se calcularan los intervalos, en cambio, muchas de esas diferencias entre el primer puesto y el quinto resultarían estadísticamente indistinguibles. Los intervalos se solaparían ampliamente, y el orden del ranking podría deberse enteramente al ruido de muestreo, no a una diferencia real de calidad entre las estrategias.

Precisión aparente y precisión real

Nada de esto invalida el uso de estimaciones puntuales. Hay que dar algún número concreto para tomar decisiones.

Lo que sí exige es acompañarlas siempre, mental o explícitamente, de una pregunta: ¿cuán ancho sería el intervalo alrededor de esta cifra si lo calculara?

Míralo en dos casos:

• Una rentabilidad del 20% anual con un intervalo de [−5%, 45%] no es una señal fuerte de que la estrategia funcione.
• Una rentabilidad del 8% anual con un intervalo de [6%, 10%] sí lo es, pese a ser el número puntual más bajo de los dos.

Confundir precisión aparente —un solo decimal en la cifra reportada— con precisión estadística real —un intervalo estrecho— es uno de los errores más comunes al leer resultados de backtesting.

Aparece en el marketing de productos financieros. Y aparece también en el autoengaño de quien desarrolla su propia estrategia y quiere creer que funciona.