Modelling crypto markets by multi-agent reinforcement learning

本研究在之前的基础工作（Lussange等人，2020）上，引入了一个多智能体强化学习（MARL）模型来模拟加密货币市场，该模型校准了币安交易所在2018年至2022年期间持续交易的153种加密货币的日收盘价。与以往依赖于零智能代理或单一自主代理方法的代理基模型（ABM）或多智能体系统（MAS）不同，我们的方法依赖于赋予代理强化学习（RL）技术，以模拟加密货币市场。这种集成旨在通过自下而上的复杂性推断来模拟个体和集体代理，确保在这种市场最近的波动条件和COVID-19时代中具有鲁棒性。我们模型的一个关键特点也在于其自治代理执行基于两个信息来源的资产价格估值：市场价格本身以及超出那些市场价格的加密资产基本价值的近似值。我们的MAS校准对真实市场数据的反应允许准确模拟加密货币市场的微观结构，并探索那个特定时间段的熊市和牛市行情的关键市场行为。

本论文旨在提出一种基于多智能体强化学习（MARL）模型，对加密货币市场进行建模，以探索加密货币市场的微观结构和市场行为。该模型试图解决如何在复杂的加密货币市场中建模个体和集体智能的问题。

本论文的关键思路是将强化学习技术应用于多智能体系统，以模拟加密货币市场，并基于市场价格和加密货币资产的基本价值对资产价格进行估值。与以往的智能体模型相比，该模型具有更好的鲁棒性和准确性。

该模型的亮点在于使用真实的市场数据进行校准，以更准确地模拟加密货币市场的微观结构和市场行为。实验结果表明，该模型在熊市和牛市的情况下都表现出良好的性能。此外，该模型还提供了一种新的方法，将强化学习技术应用于多智能体系统中，以解决在复杂市场中建模个体和集体智能的问题。

在这个领域中，最近的相关研究包括基于深度学习的加密货币价格预测、基于智能体的加密货币市场建模等。例如：Li, Y., Jiang, J., Chen, Y., & Luo, X. (2021). A deep learning approach for cryptocurrency price prediction. Information Sciences, 569, 1-17. Hsieh, Y. C., & Lin, C. Y. (2021). Agent-based modeling of cryptocurrencies. Finance Research Letters, 38, 101758.