4. Errores tipo I y tipo II: falsos positivos y falsos negativos al evaluar una estrategia
Nivel 6: Contraste de hipótesis y sus trampas en backtesting
Hay dos formas de equivocarse al juzgar una estrategia, y solo una de ellas aparece en tu extracto bancario.
Esa asimetría es la que decide, en la práctica, dónde conviene poner el listón. Pero para verla hay que separar antes los dos tipos de fallo con bastante cuidado.
El falso positivo y lo que cuesta
Todo contraste de hipótesis puede fallar de dos maneras distintas, y en el contexto de evaluar una estrategia conviene tener ambas absolutamente claras, porque tienen consecuencias muy diferentes sobre tu dinero.
El error de tipo I es un falso positivo: rechazas H0, es decir, concluyes que hay una ventaja real, cuando en realidad H0 era cierta y no había ninguna ventaja.
En trading, esto se traduce en asignar capital real a una estrategia que en el fondo es ruido. Tarde o temprano, esa "ventaja" inexistente se desvanece en el trading en vivo, y si además operaste con apalancamiento, el desengaño puede ser severo.
El falso negativo y lo que cuesta
El error de tipo II es un falso negativo: no rechazas H0, es decir, concluyes que no hay evidencia suficiente, cuando en realidad H1 era cierta y sí existía una ventaja genuina.
Aquí el coste es de otra naturaleza. Descartas una buena idea porque tu contraste no fue lo bastante sensible para detectarla, con demasiado poco dato o demasiado ruido de fondo.
Es un coste de oportunidad. Menos dramático que perder dinero ya desplegado, pero igual de real.
Qué controla exactamente el umbral
El nivel de significancia que elijas —el umbral que en el módulo 2 llamamos convencionalmente 0,05— controla directamente la tasa de errores de tipo I.
Decir "uso un umbral de 0,05" equivale a decir esto otro: si aplicase esta misma regla a muchísimas estrategias que en verdad no tienen ninguna ventaja, aproximadamente un 5% de ellas pasarían igualmente mi filtro, por puro azar.
Esa cifra —un 5% de falsos positivos incorporados de fábrica en el propio método— es la semilla del problema de comparaciones múltiples que tratarás en el módulo siguiente.
No existe un umbral que gane por los dos lados
Entre los dos tipos de error existe una tensión estructural, y desde luego no un almuerzo gratis:
- Si endureces el umbral, exigiendo un p-valor menor que 0,01 en lugar de 0,05, te proteges mejor de los falsos positivos. Pero mecánicamente aumentas la probabilidad de rechazar también estrategias con una ventaja real pero modesta o ruidosa, es decir, más errores de tipo II.
- Si relajas el umbral ocurre exactamente lo contrario: menos oportunidades perdidas, pero más ruido colándose como si fuese señal.
No existe un umbral que minimice los dos errores a la vez. Elegir dónde situarlo es una decisión, no un cálculo automático.
La potencia: qué hace falta para detectar algo tenue
La potencia de un contraste es un concepto que conviene manejar aunque sea de forma cualitativa. Es la probabilidad de que el test detecte correctamente una ventaja real, dado que esa ventaja realmente existe.
La potencia se mueve en dos direcciones bastante intuitivas:
- Aumenta cuantos más datos independientes tengas.
- Disminuye cuando la ventaja real es pequeña, o cuando la rentabilidad es muy ruidosa.
Esto explica un fenómeno frustrante y muy real. Prueba una idea sutil, con una ventaja pequeña de verdad, sobre solo dos años de datos de una única acción de baja liquidez, y probablemente fracasará el contraste.
Pero fíjate en el motivo del fracaso. No fracasa porque la idea sea mala, sino porque el test, tal y como está planteado, carece de la potencia necesaria para detectar algo tan tenue con tan poca información.
Descartar la idea en ese punto sería, con bastante probabilidad, un error de tipo II disfrazado de rigor.
Los dos errores no pesan igual
En la práctica del trading en vivo, los dos errores no pesan igual, y esa es la asimetría del principio.
Un error de tipo I suele ser más costoso porque implica capital ya desplegado y pérdidas reales, a veces amplificadas por apalancamiento. Un error de tipo II es una oportunidad perdida, pero no un agujero en la cuenta.
Esta asimetría es exactamente la razón por la que muchos equipos cuantitativos prefieren ser conservadores en las decisiones de asignación de capital, con umbrales de significancia más estrictos. Aceptan de buen grado más oportunidades perdidas a cambio de menos "descubrimientos" desastrosos.
Las cuatro celdas y dónde repartir el riesgo
Resulta útil, para fijar las cuatro posibilidades, pensarlas como una tabla de dos por dos. Un eje es la realidad, y el otro es lo que dice el test:
- En el eje de la realidad: "no hay ventaja real" frente a "sí hay ventaja real".
- En el eje del test: "el test dice que no hay ventaja" frente a "el test dice que sí hay ventaja".
Cruzando ambos ejes obtienes cuatro celdas: acierto al descartar ruido, error de tipo I o falso positivo, error de tipo II o falso negativo, y acierto al detectar una ventaja genuina.
Cualquier decisión sobre dónde poner el umbral de significancia es, en el fondo, una decisión sobre cómo repartir el riesgo entre esas cuatro celdas.
Una aplicación concreta lo deja claro. Una mesa cuantitativa puede exigir un umbral más estricto, digamos 0,01, para cualquier estrategia que vaya a operar con un apalancamiento superior a 2x, y mantener el umbral estándar de 0,05 para asignaciones pequeñas y sin apalancar.
La lógica no es arbitraria: cuanto más caro resulta un error de tipo I en un contexto dado, más sentido tiene pagar el precio de más errores de tipo II para evitarlo.