MacroHFT: Memory Augmented Context-aware Reinforcement Learning On High Frequency Trading

高频交易（HFT）利用算法在短时间内执行交易，最近占据了大部分加密货币市场。除了传统的量化交易方法外，强化学习（RL）已成为另一种吸引人的HFT方法，因为它具有处理高维金融数据和解决复杂的顺序决策问题的出色能力。例如，分层强化学习（HRL）通过训练路由器从代理池中选择一个子代理来执行当前交易，已经在二级HFT上展示了其有前途的表现。然而，现有的RL方法仍然存在一些缺陷：1）基于标准RL的交易代理会遭受过度拟合问题，阻止它们根据财务环境进行有效的政策调整；2）由于市场条件的快速变化，单个代理做出的投资决策通常是片面和高度偏见的，可能导致在极端市场中出现重大损失。为了解决这些问题，我们提出了一种新的记忆增强的上下文感知强化学习方法，称为MacroHFT，它包括两个训练阶段：1）我们首先使用分解市场趋势和波动性的各种金融指标来训练多种类型的子代理，其中每个代理都拥有一个条件适配器，以根据市场条件调整其交易策略；2）然后我们训练一个超级代理来混合这些子代理的决策，并输出一个始终盈利的元策略来处理快速的市场波动，配备了一个记忆机制来增强决策能力。在各种加密货币市场上的广泛实验表明，MacroHFT可以在分钟级交易任务上实现最先进的性能。

本论文旨在解决高频交易中标准强化学习算法容易出现过拟合问题和决策单一、偏颇的问题，提出一种新的强化学习方法来处理这些问题。

该论文提出的方法是Memory Augmented Context-aware Reinforcement learning method On HFT，即MacroHFT，它包含两个训练阶段：首先，使用多种金融指标对市场数据进行分解，训练多种类型的子代理，每个代理都拥有一个条件适配器，根据市场情况调整其交易策略；然后，训练一个超级代理来混合这些子代理的决策，并输出一个具有记忆机制的元策略来处理市场波动。

该论文的亮点包括：使用了多种金融指标对市场数据进行分解，训练多种类型的子代理；使用超级代理来混合这些子代理的决策，并输出一个具有记忆机制的元策略；在各种加密货币市场上进行了广泛的实验，MacroHFT在分钟级交易任务上实现了最先进的性能。

在高频交易领域，最近的相关研究包括：'Deep Reinforcement Learning for High-Frequency Trading'，'Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation'等。