6. Aprendizaje por refuerzo: agente, entorno y recompensa
Nivel 10: Machine Learning Aplicado al Trading
El aprendizaje por refuerzo está influido por la psicología conductual y su sistema de recompensas. Podemos pensarlo como jugar con un perro. Tenemos un perro (que en la terminología se llama agente) y tenemos un parque (el entorno) donde puede hacer lo que quiera. Cada vez que el perro te trae un palo, le recompensas con comida. Al cabo de un tiempo, el perro empieza a desarrollar mejores estrategias para encontrar otros palos por los alrededores. Es decir, aprende del sistema de recompensas. A ese proceso en la cabeza del perro lo llamamos aprendizaje por refuerzo. Tenemos un agente, un entorno y una recompensa.
La diferencia con el aprendizaje supervisado está en los datos de salida. En aprendizaje por refuerzo, mientras el perro pasea, no sabe si va a recibir una recompensa o no. Puede no recibirla nunca. Pero cuando la encuentra, ha aprendido a ganar. Así que los datos de salida pueden llegar mucho más tarde. En aprendizaje supervisado, en cambio, conocemos la salida de antemano y hacemos predicciones mirándola.
Esa asignación tardía del crédito es lo que hace al refuerzo distinto y difícil. Si el perro dio doce vueltas, olfateó tres arbustos y luego encontró el palo, ¿cuál de esas acciones merece el mérito? El algoritmo tiene que repartir una recompensa escasa y retrasada entre una larga cadena de decisiones.
En trading la analogía es directa, y por eso el refuerzo genera tanto interés:
- Agente: el sistema de trading que decide.
- Entorno: el mercado, que responde con precios nuevos y, si operas con volumen, también con impacto de tus propias órdenes.
- Acciones: comprar, vender, mantener, o de forma más fina, qué tamaño de posición tomar.
- Recompensa: el resultado de la operación, idealmente ajustado por riesgo y neto de comisiones y deslizamiento.
- Estado: la información disponible en el momento de decidir (precios, indicadores, posición actual, exposición).
Hay tres consecuencias prácticas que conviene interiorizar antes de tocar una sola línea de código.
Primera: la recompensa es retrasada y ruidosa. Una compra excelente puede dar pérdidas tres días y beneficio a las seis semanas. El agente debe aprender que una acción buena no siempre trae recompensa inmediata; ese es exactamente el problema del perro.
Segunda: el dilema entre exploración y explotación. Si el agente solo repite lo que ya le funcionó, nunca descubrirá una estrategia mejor. Si explora demasiado, quema dinero probando. En un parque, explorar es gratis. En un mercado, explorar cuesta comisiones y pérdidas reales.
Tercera, y la más importante: el mercado no es un parque. El entorno del perro es estable; el mercado cambia de régimen, y otros participantes reaccionan a lo que haces. Un agente entrenado sobre un histórico puede memorizar la trayectoria concreta de esos años en lugar de aprender una política robusta. El sobreajuste, en refuerzo, es especialmente insidioso, porque el agente también elige qué datos ve al elegir sus acciones.
En resumen: supervisado es aprender de un profesor que ya tiene las respuestas; no supervisado es buscar estructura sin respuestas; refuerzo es aprender actuando, a base de premios que llegan tarde, mal y a veces nunca.