Deep reinforcement learning applied to statistical arbitrage investment strategy on cryptomarket

Abstract

Considerando el aumento al acceso a la información de mercado, en particular el libre acceso a información detallada sobre transacciones de cryptomonedas, junto con la compleja y dinámica propiedad de los mercados financieros, donde se requieren cada vez estrategias de inversión más sofisticadas, el aprendizaje reforzado profundo (DRL) ha demostrado ser exitoso a la hora de generar estrategias de inversión en tiempo real superando a los modelos clásicos. Junto con esto, las estrategias de arbitraje estadístico buscan explotar ineficiencias temporales de mercado para generar retornos. En este aspecto se desarrolla un novedoso método de arbitraje basado en DRL. Primero, se generan portafolios de arbitraje basados en la relación de cointegración. Segundo, se extraen las series de tiempo de estos portafolios y se extraen señales utilizando diversas transformaciones. Finalmente se introduce un método de DRL para generar las decisiones de inversión, donde el agente lee la información de mercado y en función de los objetivos a un horizonte fijo determina las acciones que permitan maximizar la utilidad. Los resultados son analizados fuera de la muestra de entrenamiento, estudiando los riesgos y rendimientos que generan a nivel diario como la trayectoria agregada de decisiones y a nivel intra diario como las acciones individuales realizadas por el agente considerando la presencia y ausencia de costos de transacción. Para verificar la robustez de las decisiones de los agentes se estudia su aleatoriedad y coherencia. Los resultados empíricos obtenidos respecto a 3 algoritmos diferentes (DQN, PPO y A2C) muestran que el agente logra determinar decisiones que generen retornos positivos, manteniendo utilidad incluso bajo costos de transacción. Además se determina que las acciones que se generan no son aleatorias y logra superar la estrategia base COIN. Junto con esto, se evidencia que existe espacio para estrategias de arbitraje en este mercado y además reducen el riesgo de forma contundente. Respecto a los agentes utilizados, todos muestran un comportamiento estable antes de costos, pero DQN y PPO mantienen rentabilidad después de costos.