2. El p-valor sin fórmulas: qué es y, sobre todo, qué NO es

Nivel 6: Contraste de hipótesis y sus trampas en backtesting

Cuatro frases sobre el p-valor circulan con total normalidad entre traders, y las cuatro son falsas.

Suenan tan parecidas a la definición correcta que casi nadie nota la diferencia al leerlas por encima. El p-valor es, probablemente, el número más citado y peor entendido de toda la estadística aplicada a trading.

La definición, con su condicional intacto

Vale la pena definirlo con precisión antes de tocar nada más, porque cada palabra de la definición está haciendo un trabajo concreto.

El p-valor es la probabilidad, calculada asumiendo que la hipótesis nula es cierta, de observar un resultado tan extremo o más extremo que el que realmente obtuviste.

Fíjate en el condicional, porque ahí está absolutamente todo lo que importa. Es una probabilidad que se calcula dentro de un mundo hipotético donde H0 es verdad, es decir, dentro de un mundo donde la estrategia no tiene ninguna ventaja real.

No es, en ningún sentido, una probabilidad sobre si ese mundo hipotético es el que de verdad existe.

Las cuentas de un p-valor concreto

Un ejemplo numérico ayuda a fijar la idea, así que supón que el backtest de tu estrategia arroja un p-valor de 0,03.

La lectura correcta empieza siempre por el supuesto. Imagina que esta estrategia realmente no tuviese ninguna ventaja, es decir, que toda su rentabilidad observada fuese pura suerte. Si repitieses este mismo experimento sobre tramos de historia comparables una y otra vez, verías un resultado tan bueno o mejor que este solo alrededor del 3% de las veces.

Eso es una afirmación sobre la rareza del dato bajo un supuesto concreto, y no una afirmación sobre la probabilidad de que ese supuesto sea falso.

Los dos malentendidos que suenan bien

Con esa definición en la mano ya puedes identificar, con precisión quirúrgica, los cuatro malentendidos más frecuentes que circulan entre traders y que debes desterrar de tu vocabulario.

Primero: "el p-valor es la probabilidad de que la estrategia tenga una ventaja real" es falso.

Esa sería una probabilidad sobre la hipótesis dados los datos, del tipo "¿qué tan probable es H1 visto lo que observé?". El p-valor, en cambio, es una probabilidad sobre los datos dada la hipótesis, del tipo "¿qué tan probable es lo que observé si H0 fuese cierta?".

Son dos preguntas genuinamente distintas, y confundirlas es el error más costoso de todo este nivel.

Segundo, y más sutil: "el p-valor es la probabilidad de que el resultado se deba al azar" también es una formulación equivocada, aunque suene casi igual que la definición correcta.

La definición correcta exige el condicional, porque es la probabilidad de un resultado así de extremo asumiendo que el azar (H0) es la explicación completa, y no la probabilidad de que el azar sea realmente la explicación.

Los dos malentendidos que ni siquiera son del tipo correcto

Tercero: "1 menos el p-valor es la probabilidad de que la estrategia funcione" no tiene ninguna base, porque no existe esa relación de complemento entre ambas cosas.

Un p-valor de 0,03 no implica una probabilidad del 97% de que H1 sea cierta, por la sencilla razón de que el p-valor no es ese tipo de número.

Cuarto: "un p-valor muy pequeño significa que el efecto económico es grande" es falso. Este cuarto malentendido es, además, el puente hacia el módulo siguiente de este mismo nivel.

Lo que ocurre es que el p-valor combina tres ingredientes bastante distintos entre sí:

• Qué tan lejos está tu resultado observado de lo que predice H0.
• Cuánta variabilidad natural tienen los datos con los que trabajas.
• Cuántas observaciones independientes tienes acumuladas.

Con una muestra suficientemente grande, incluso un efecto diminuto y económicamente irrelevante puede llegar a producir un p-valor minúsculo.

El p-valor no mide el tamaño del efecto: mide incompatibilidad con el azar, dado el tamaño de muestra que usaste.

El umbral no es una frontera natural

Conviene decir algo sobre el umbral convencional del 0,05, que es una convención histórica popularizada hace más de un siglo.

No es una frontera natural entre "verdad" y "mentira", y no hay absolutamente nada mágico en cruzar de 0,051 a 0,049.

Muchos equipos cuantitativos prefieren, de hecho, umbrales bastante más exigentes, como 0,01 o incluso más estrictos, en dos situaciones concretas:

• Cuando hay mucho dinero o mucha reputación en juego.
• Cuando se han explorado muchas variantes antes de llegar al resultado final que se presenta.

El motivo de fondo de esa exigencia extra es precisamente el problema de comparaciones múltiples que verás en el módulo 5.

Elegir la dirección antes de mirar los datos

Hay otro matiz práctico que conviene tener presente, porque un contraste puede plantearse de dos maneras diferentes:

• En una sola dirección, por ejemplo preguntando si la estrategia supera al índice, ignorando la posibilidad de que quede claramente por debajo.
• En dos direcciones, preguntando simplemente si hay una diferencia en cualquiera de los dos sentidos.

Elegir la dirección del contraste es completamente legítimo, pero tiene que decidirse antes de mirar los datos.

Si defines la dirección después de ver cómo salieron los números, eligiendo la que hace que tu resultado parezca más favorable, estás contaminando el significado del p-valor. Y lo estás contaminando de una forma que anticipa el problema del data snooping que verás en el módulo 6.

La pregunta que te vacuna contra los cuatro

Hay un hábito de sensatez que conviene interiorizar, y consiste en preguntarte explícitamente lo siguiente cada vez que leas un p-valor:

"¿Qué habría dicho exactamente este mismo cálculo si mi estrategia hubiese sido, en realidad, puro ruido aleatorio?"

Esa pregunta te obliga a mantener presente el condicional que define el p-valor, y es la mejor vacuna disponible contra los cuatro malentendidos anteriores.

El p-valor no te dice si tu estrategia es buena. Te dice cuánto te sorprendería tu propio resultado si, en el fondo, no hubiese nada ahí.