4. El zoo de factores y la crisis de replicación

Nivel 10: Por qué se agota

Los tres módulos anteriores explicaban cómo se agota una ventaja real. Este plantea una pregunta más incómoda: cuántas de las ventajas publicadas existieron alguna vez. La respuesta obliga a cambiar el listón con el que juzgas cualquier estrategia que te presenten, para siempre.

Cientos de candidatos, y la cuenta sigue subiendo

Cuando Harvey, Liu y Zhu revisaron la literatura financiera, catalogaron más de trescientas variables distintas propuestas en revistas serias para explicar diferencias de rentabilidad entre acciones, y documentaron que el ritmo de aparición se había acelerado hasta decenas de nuevas propuestas al año. A esa colección se la conoce, con sorna, como el zoo de factores.

Un mercado no puede tener trescientas fuentes independientes de rentabilidad. Muchas de esas variables son primas hermanas medidas de forma ligeramente distinta. Y una parte, que es de lo que trata este módulo, es sencillamente ruido con buena presentación.

Por qué buscar mucho garantiza encontrar algo

El umbral estadístico habitual acepta un resultado cuando la probabilidad de obtenerlo por casualidad es menor del 5%. Ese umbral es razonable si haces una prueba. Deja de serlo en cuanto haces muchas.

Si pruebas 300 reglas de inversión que en realidad no valen absolutamente nada, un 5% de ellas pasará el examen por pura suerte: unas quince. Y de esas quince, ninguna parecerá casualidad vista de cerca, porque cada una vendrá con su gráfico ascendente y su explicación económica. El problema no es que quince mientan: es que las 285 fracasadas nunca se escriben, así que el lector solo ve las supervivientes.

Merece la pena hacer la cuenta completa, porque el resultado sorprende. Imagina mil ideas candidatas, de las cuales cien son válidas de verdad. Supón un método que detecta el 80% de las válidas y que deja pasar como buenas un 5% de las inválidas. Encontrarás 80 hallazgos verdaderos y 45 falsos: de los 125 resultados anunciados, más de un tercio son falsos. Y si en lugar de cien válidas solo hubiera diez, saldrían 8 verdaderos frente a unos 50 falsos: más de un 85% de basura, sin que nadie haya hecho nada mal salvo buscar mucho.

Los grados de libertad que nadie declara

El cálculo anterior es optimista, porque supone que cada idea se prueba una vez. En la práctica, una sola idea se prueba decenas de veces sin que el autor lo llame probar:

• Incluir o excluir las empresas más pequeñas del universo.
• Ponderar la cartera por capitalización o por partes iguales.
• Reequilibrar cada mes, cada trimestre o cada año.
• Empezar el análisis en un año u otro.
• Excluir o no periodos considerados excepcionales.

Cinco decisiones binarias son treinta y dos combinaciones. Presentar la mejor de las treinta y dos como si fuese la única que se miró convierte un umbral del 5% en algo mucho más permisivo de lo que parece. Nada de esto exige mala fe: es lo que ocurre cuando se ajusta un procedimiento hasta que funciona.

Cuando otros intentan repetirlo

Hou, Xue y Zhang hicieron el trabajo sucio: recopilaron más de cuatrocientas cincuenta anomalías publicadas y las reevaluaron todas con el mismo procedimiento, ponderando por capitalización y evitando que los valores diminutos dominaran el resultado. Cerca de dos tercios dejaron de ser estadísticamente significativas con el listón habitual, y con un listón más exigente el porcentaje de fracasos superaba el ochenta.

La razón principal es reveladora. Las empresas más pequeñas son la mayoría por número y una porción minúscula del valor total del mercado. Al ponderar todas las acciones por igual, buena parte del resultado descansa sobre valores que casi nadie puede comprar en cantidad. Corriges eso y la anomalía se evapora.

Conviene ser honesto: otros investigadores, con métodos estadísticos distintos, han obtenido tasas de supervivencia bastante más altas, y el debate sigue abierto. Pero nadie sostiene ya que el número de factores publicados se parezca al número de factores utilizables.

El criterio práctico: seis preguntas antes de dar un euro

Estas preguntas valen para un artículo académico y para el comercial que llame a tu puerta:

• ¿La explicación económica existía antes de mirar los datos, o se construyó al ver el resultado? Lo segundo es un cuento, no una hipótesis.
• ¿Cuántas variantes se probaron para llegar a esta? Si la respuesta es "solo esta", casi nunca es cierto.
• ¿Funciona en otro periodo, en otros países y en otro universo de valores?
• ¿Sobrevive quitando las empresas más pequeñas y ponderando por capitalización?
• ¿Sobrevive neta de costes y al tamaño que se pretende gestionar?
• ¿Quién más la lleva, y qué tendría que ocurrir para que dejara de funcionar? Si nadie sabe responder a lo último, es que no se ha entendido de dónde sale el dinero.

Caso real: el embudo, con números

Junta todo lo del nivel y sale un embudo demoledor. Se parte de varios cientos de patrones publicados. Al reevaluarlos con criterios homogéneos, alrededor de un tercio conserva significación con el listón habitual, y bastante menos si se exige el listón alto que recomiendan Harvey, Liu y Zhu para compensar tantas pruebas. De los supervivientes, Novy-Marx y Velikov muestran que los de rotación alta pierden la mayor parte de su ventaja al descontar el coste de operar. A los que quedan hay que restarles todavía la erosión posterior a la publicación, en torno a la mitad del rendimiento original según McLean y Pontiff, y la capacidad limitada del módulo anterior.

Cuatrocientas ideas publicadas no dejan cuatrocientas estrategias. Dejan un puñado, con menos rendimiento del anunciado, con menos capacidad de la que te gustaría y con más competencia de la que había. Ese puñado sigue existiendo, y es el objeto del resto del curso. Pero ahora ya sabes exigirle pruebas.