$\text{Alpha}^2$: Discovering Logical Formulaic Alphas using Deep Reinforcement Learning

Alphas在提供量化交易信号方面起着关键作用。与表达能力强但容易过拟合的黑匣子alphas相比，行业高度重视发现公式alphas的可解释性和易于分析性。在本研究中，我们专注于发现公式alphas。以前关于自动生成一组公式alphas的研究大多基于遗传编程（GP），这种方法已知存在以下问题：对初始种群敏感、容易陷入局部最优解和计算速度较慢。最近使用深度强化学习（DRL）进行alpha发现的努力尚未完全解决关键的实际考虑因素，例如alpha之间的相关性和有效性，这对其有效性至关重要。在本研究中，我们提出了一种使用DRL进行alpha发现的新框架，通过将alpha发现过程作为程序构建来实现。我们的代理程序Alpha^2组装了一个针对评估指标优化的alpha程序。由DRL指导的搜索算法根据潜在alpha结果的价值估计来浏览搜索空间。评估指标鼓励alphas的性能和多样性，以获得更好的最终交易策略。我们对alpha搜索的公式化还带来了预计算维度分析的优势，确保alphas的逻辑正确性，并在很大程度上削减了庞大的搜索空间。对真实股票市场的实证实验表明，Alpha^2能够识别出一组多样化的逻辑和有效的alphas，从而显著提高了最终交易策略的性能。我们的方法代码可在https://github.com/x35f/alpha2 上获得。

自动发现公式alpha的问题

使用强化学习构建alpha程序，同时优化性能和多样性

使用DRL搜索算法，通过预计算维度分析来剪枝搜索空间，实验结果表明方法能够发现有效且多样化的alpha程序

先前的研究主要基于遗传编程，而本文使用DRL的方法相比之下更加高效和有效