Truthful Aggregation of LLMs with an Application to Online Advertising

在线平台通过在其自己的内容旁边展示广告每年创造数千亿美元的收入。目前，这些平台正在将大型语言模型（LLM）整合到其服务中，这使得从LLM生成的内容中获得收入成为在线广告的下一个重大挑战。我们考虑了这样一种情况，即广告商旨在影响LLM的响应以使其符合其利益，而平台则旨在最大化广告商的价值并确保用户满意度。我们引入了一个拍卖机制来解决这个问题，它在没有LLM微调或访问模型权重的情况下运作，并在计算资源增加时可证明收敛于平台目标的最佳微调LLM的输出结果。我们的机制确保真实报告对于广告商来说是一种支配策略，并将每个广告商的效用与其对社会福利的贡献相一致，这是长期可行性的一个重要特征。此外，它可以整合有关广告商的上下文信息，显著加速收敛。通过使用公开可用的LLM进行实验，我们展示了我们的机制显著提高了广告商价值和平台收入，同时计算开销很低。虽然我们的激励应用是在线广告，但我们的机制可以应用于任何具有货币转移的环境中，因此成为一个真实聚合自利代理人在LLM生成的回复上的偏好的通用解决方案。

解决问题：论文试图解决在线广告中的LLM内容生成与广告主利益最大化之间的竞争问题，提出一种无需LLM微调或访问模型权重的拍卖机制。

关键思路：论文提出的拍卖机制可以让广告主以诚实报告为主导策略，同时将每个广告主的效用与其对社会福利的贡献相一致，从而实现广告主和平台的利益最大化。

其他亮点：论文的拍卖机制可以整合广告主的上下文信息，显著加快收敛速度。实验使用了公开的LLM数据集，证明该机制可以显著提高广告主价值和平台收入，计算开销较小。该机制可应用于任何具有货币转移的领域，具有广泛的适用性。

相关研究：最近的相关研究包括使用深度学习模型的在线广告投放和拍卖机制，例如“Neural Combinatorial Optimization with Reinforcement Learning for the Knapsack Problem”和“Learning to Bid with Constrained Value Estimation”等。