Optimal Execution with Reinforcement Learning

本研究通过强化学习方法探讨最优执行策略的开发，旨在确定交易者在有限时间内买卖库存最有效的方法。我们提出的模型利用了来自限价订单簿当前状态的输入特征。 为了模拟这一环境并克服依赖历史数据的局限性，我们使用了多代理市场模拟器ABIDES，该模拟器提供了限价订单簿中多种深度水平。 我们提出了一种自定义的马尔可夫决策过程（MDP）公式，并展示了我们的方法论结果，同时将性能与标准执行策略进行了基准测试。我们的研究发现表明，基于强化学习的方法展现出显著的潜力。

该论文旨在通过强化学习开发最优执行策略，以确定交易者在限定时间内买卖库存的最佳方法。这是一个具有实际应用价值的问题，尤其是在高频交易和算法交易领域。

论文的关键思路是利用多智能体市场模拟器ABIDES来模拟交易环境，并通过自定义的马尔可夫决策过程（MDP）模型来优化交易策略。这种方法不仅克服了依赖历史数据的局限性，还能够更真实地反映市场动态。

论文通过与标准执行策略的对比，验证了强化学习方法的有效性。实验设计包括多个深度级别的限价订单簿，增加了模型的复杂性和现实性。此外，研究团队提供了详细的实验设置和结果分析，为后续研究提供了宝贵的数据支持。论文还提到未来可以进一步探索不同市场条件下的策略优化。

近年来，关于强化学习在金融交易中的应用研究越来越多。相关研究包括： 1. "Deep Reinforcement Learning for Trading" - 该研究探讨了深度强化学习在股票交易中的应用。 2. "Reinforcement Learning in Electronic Markets: A Review" - 这篇综述文章总结了强化学习在电子市场中的最新进展。 3. "A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem" - 该研究提出了一个用于金融组合管理的深度强化学习框架。