Reinforcement Learning with Maskable Stock Representation for Portfolio Management in Customizable Stock Pools

组合投资管理是一项基本的金融交易任务，探索资本定期重新配置到不同的股票中以追求长期利润。强化学习最近展示了其通过与金融市场互动训练盈利代理的潜力。然而，现有的工作大多集中在固定的股票池上，这与投资者的实际需求不一致。具体而言，不同投资者的目标股票池由于市场状态的差异而变化巨大，个人投资者可能会暂时调整他们想要交易的股票（例如，添加一种热门股票），这导致了可定制的股票池。现有的强化学习方法需要重新训练强化学习代理，即使股票池有微小的变化，这导致了高计算成本和不稳定的性能。为了解决这个挑战，我们提出了EarnMore，一种具有可屏蔽股票表示的强化学习框架，通过在全球股票池中进行一次性训练来处理具有可定制股票池的组合投资管理。具体而言，我们首先引入一种机制来屏蔽目标池外的股票表示。其次，我们通过自监督的屏蔽和重构过程学习有意义的股票表示。第三，设计了一种重新加权机制，使组合集中于有利的股票，并忽略目标池外的股票。通过对美国股票市场的8个子集股票池进行广泛的实验，我们证明了EarnMore在6个流行的财务指标方面显著优于14个最先进的基线，利润提高了40%以上。

论文旨在解决可定制化股票池（CSPs）的资产组合管理（PM）问题。现有的RL方法需要重新训练RL代理，即使是微小的股票池变化，这导致计算成本高和性能不稳定。

论文提出了一种名为EarnMore的RL框架，其中包括可屏蔽股票表示的机制、通过自监督屏蔽和重构过程学习有意义的股票表示以及重新加权机制，使投资组合集中于有利的股票并忽略目标池外的股票。这种方法通过在全球股票池（GSP）中进行一次性训练来处理CSPs的PM。

论文在8个美国股票市场的子集股票池上进行了大量实验，证明EarnMore在6个流行的财务指标方面显著优于14个最先进的基线，利润提高超过40%。论文还提出了一种新的股票表示方法，通过自监督学习，可以在CSPs中进行一次性训练。

在这个领域中，最近的相关研究包括：1. 'A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem'；2. 'Deep Reinforcement Learning for Portfolio Management'；3. 'Multi-agent Reinforcement Learning for Portfolio Management with Asset-liability Constraints'。