LLMs Are In-Context Reinforcement Learners

这项研究探讨了大型语言模型（LLMs）是否可以通过上下文强化学习（ICRL）学习新任务，其中模型只能在上下文中获得过去的预测和奖励，而不是金标签。研究表明，ICRL的朴素应用失败了，其根本原因在于探索方面的基本缺陷，导致模型迅速退化。为了解决这个问题，作者提出了一个算法来增加测试时间的计算量，以及一个计算受限的近似方法。作者使用几个具有挑战性的分类任务来实证，表明他们的ICRL算法可以仅通过奖励实现有效的学习，并分析了这种能力和方法的特点。总的来说，作者的研究揭示了LLMs的显著ICRL能力。

本文旨在研究大型语言模型（LLMs）是否能够通过在上下文中的强化学习（ICRL）来学习新任务，而不是通过上下文监督学习（ICL）来学习。文章发现，ICRL的一个根本性缺陷在于探索能力不足，导致模型迅速退化，因此提出了一种算法来解决这个问题。文章通过多个分类任务的实验验证了这种方法的有效性，并分析了这种能力和方法的特点。

文章提出了一种解决ICRL中探索不足的算法，通过增加测试时间的计算量以及计算受限的近似方法来解决这个问题，并在多个分类任务上进行了实验验证。

实验使用了多个分类任务来验证算法的有效性，文章提出的算法在ICRL中解决了探索不足的问题，具有一定的创新性。文章还分析了这种能力和方法的特点，值得进一步研究。

近期的相关研究包括：《Exploration in Reinforcement Learning with Deep Neural Networks》、《Deep Reinforcement Learning》等。