$\text{Alpha}^2$: Discovering Logical Formulaic Alphas using Deep Reinforcement Learning

Alphas在提供量化交易信号方面起着关键作用。与富有表现力但容易过拟合的黑盒Alphas相比，该行业高度重视发现公式化Alphas的可解释性和易分析性。在这项工作中，我们专注于发现公式化Alphas。以前关于自动生成一系列公式化Alphas的研究大多基于遗传编程（GP），这种方法已知存在以下问题：对初始种群敏感、容易陷入局部最优解、计算速度慢。最近采用深度强化学习（DRL）进行Alpha发现的努力尚未完全解决关键的实际考虑因素，例如Alpha之间的相关性和有效性，这对于其有效性至关重要。在这项工作中，我们提出了一种使用DRL进行Alpha发现的新框架，通过将Alpha发现过程形式化为程序构建来实现。我们的代理程序Alpha2会组装一个针对评估指标进行优化的Alpha程序。由DRL引导的搜索算法基于潜在Alpha结果的价值估计来导航搜索空间。评估指标鼓励为更好的最终交易策略提供性能和Alpha多样性。我们对Alpha搜索的制定还带来了预先计算维度分析的优势，以确保Alpha的逻辑正确性，并在很大程度上削减了庞大的搜索空间。在真实世界的股票市场上的实证实验表明，Alpha2有能力识别出一组逻辑合理且有效的Alpha，这显着提高了最终交易策略的表现。我们的方法代码可在https://github.com/x35f/alpha2上找到。

本论文的问题是如何使用深度强化学习（DRL）来发现公式化的Alpha信号，以提高量化交易的效果。

论文的关键思路是将Alpha发现过程视为程序构建，通过DRL引导搜索算法在潜在Alpha结果的价值估计基础上遍历搜索空间。评估指标鼓励Alpha的性能和多样性，同时保证逻辑上的合理性。

论文的亮点包括：使用DRL发现公式化的Alpha信号，评估指标鼓励性能和多样性，同时保证逻辑上的合理性；通过预计算维度分析来剪枝搜索空间；实验结果表明，该方法能够发现一组逻辑有效的Alpha信号，显著提高最终交易策略的性能。论文提供了代码开源。

最近在这个领域中，也有一些使用DRL的相关研究，如《Deep Reinforcement Learning for Portfolio Management》和《A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem》。