LOLA: LLM-Assisted Online Learning Algorithm for Content Experiments

在快速发展的数字内容领域中，媒体公司和新闻出版商需要自动化和高效的方法来增强用户参与度。本文介绍了LLM辅助在线学习算法（LOLA），这是一种新颖的框架，将大型语言模型（LLMs）与自适应实验相结合，以优化内容传递。利用Upworthy的大规模数据集，包括17,681个标题A/B测试，旨在评估与同一文章内容相关的各种标题的表现，我们首先研究了三种纯LLM方法：基于提示的方法、基于嵌入的分类模型和微调开源LLM。我们的研究结果表明，基于提示的方法表现不佳，在识别两个选项中更吸引人的标题方面的准确率不超过65％。相比之下，OpenAI-基于嵌入的分类模型和微调Llama-3-8b模型的准确率相当，约为82-84％，但仍然不及具有足够流量的实验的表现。然后，我们介绍了LOLA，它将最佳的纯LLM方法与上置信界算法相结合，以自适应地分配流量并最大化点击量。我们在Upworthy数据上的数字实验表明，LOLA优于标准的A/B测试方法（Upworthy目前的现状）、纯赌博算法和纯LLM方法，特别是在实验流量有限或有许多测试组的情况下。我们的方法既可扩展，也适用于各种数字设置中的内容实验，其中公司寻求优化用户参与度，包括数字广告和社交媒体推荐。

论文旨在解决数字内容领域中的用户参与度优化问题，通过将大型语言模型与自适应实验相结合，提出了LLM-Assisted Online Learning Algorithm (LOLA)框架。

LOLA框架将最佳的纯LLM方法与Upper Confidence Bound算法相结合，以自适应地分配流量和最大化点击率，相对于标准的A/B测试方法、纯贝叶斯算法和纯LLM方法，在实验流量有限或有多个实验分支的情况下表现更好。

论文使用Upworthy数据集进行了大量实验，比较了三种纯LLM方法的性能，发现prompt-based方法表现不佳，而OpenAI-embedding-based分类模型和fine-tuned Llama-3-8b模型的准确率在82-84%之间。此外，LOLA框架还具有可扩展性和广泛适用性，可用于各种数字环境下的内容实验，包括数字广告和社交媒体推荐。

近年来，还有一些相关研究，例如《Large-Scale Analysis of News Headlines and Images: A Corpus for Studying Content and Style》、《A/B Testing in the Wild: Pitfalls and Opportunities》等。