Guided Learning: Lubricating End-to-End Modeling for Multi-stage Decision-making

多阶段决策在各种现实世界的人工智能应用中至关重要，包括推荐系统、自动驾驶和量化投资系统。例如，在量化投资中，这一过程通常涉及多个连续阶段，如因子挖掘、阿尔法预测、组合优化，有时还包括订单执行。虽然最先进的端到端建模旨在将这些阶段统一到一个单一的全局框架中，但这种方法面临显著挑战：（1）训练这样一个由初始输入到最终输出的多阶段统一神经网络往往导致次优解，甚至崩溃；（2）许多决策场景不易简化为标准预测问题。为了克服这些挑战，我们提出了引导学习，这是一种旨在增强多阶段决策端到端学习的新方法论框架。我们引入了“引导”这一概念，即一种函数，它诱导中间神经网络层朝着某些阶段性目标进行训练，从而引导梯度远离次优崩溃。对于缺乏显式监督标签的决策场景，我们引入了一个效用函数，该函数量化整个决策过程的“奖励”。此外，我们探讨了引导学习与经典机器学习范式（如监督学习、无监督学习、半监督学习、多任务学习和强化学习）之间的联系。在量化投资策略构建的实验中，引导学习显著优于传统的分阶段方法和现有的端到端方法。

论文尝试解决多阶段决策中的端到端模型训练难题，特别是如何避免在训练统一神经网络时出现的次优解或模型崩溃问题，并处理某些决策场景中缺乏显式监督标签的情况。这并非全新问题，但针对具体应用场景如量化投资提出了新的挑战。

论文提出了一种名为Guided Learning的新方法论框架，通过引入“引导”函数来指导中间层神经网络向阶段性目标学习，从而防止梯度陷入次优解。对于没有明确监督标签的决策场景，引入了效用函数来量化决策的‘奖励’。这一思路在端到端学习中引入了分阶段优化的概念，为解决复杂多阶段任务提供了新途径。

论文通过量化投资策略构建的实验证明了Guided Learning的有效性，显著优于传统分阶段方法和现有的端到端方法。实验设计包括了因子挖掘、Alpha预测、组合优化等多阶段过程，并使用了实际市场数据进行验证。此外，作者还探讨了Guided Learning与经典机器学习范式之间的联系，如监督学习、无监督学习、半监督学习、多任务学习和强化学习。论文代码已开源，为后续研究提供了基础。

近年来，在多阶段决策领域，一些相关研究包括《Hierarchical Reinforcement Learning for Long-term Investment Strategies》、《End-to-End Learning for Multi-Stage Financial Forecasting》和《Deep Reinforcement Learning for Portfolio Management》。这些研究主要集中在强化学习和深度学习在金融领域的应用，但较少涉及如何有效训练多阶段端到端模型的具体方法。