Limits to Predicting Online Speech Using Large Language Models

我们研究了社交媒体上在线言论的可预测性，以及是否可以通过用户发布的信息以外的信息来提高可预测性。最近的研究表明，用户的同伴所写的帖子所包含的预测信息可能超过了用户自己的帖子。受大型语言模型成功的启发，我们在实践中测试了这个假设。我们将不可预测性定义为模型的不确定性度量，即给定上下文的未来标记的负对数似然。作为我们研究的基础，我们收集了来自5000多个X（以前的Twitter）用户及其同伴的625万个帖子的语料库。在三个规模从10亿到700亿参数的大型语言模型中，我们发现根据用户同伴的帖子来预测用户的帖子表现不佳。此外，用户自己的帖子对于预测的价值始终高于他们的同伴。总的来说，我们发现社交媒体帖子的可预测性仍然很低，与没有上下文的预测金融新闻相当。我们通过详细分析不可预测性的原因和我们发现的稳健性来扩展我们的调查。具体而言，我们观察到，很大一部分预测不确定性来自于主题标签和@提及。此外，如果我们不是通过提示模型使用额外的上下文，而是通过在额外的上下文上进行微调，我们的结果将得到复制。

论文试图探究社交媒体上用户言论的可预测性，并验证是否需要使用用户自己的帖子以外的信息来提高预测准确性。这是一个新问题。

论文通过收集超过5000个用户及其同行的6.25M条帖子，使用三个不同规模的大型语言模型进行实证研究，发现使用用户同行的帖子来预测用户自己的帖子表现不佳，用户自己的帖子对预测的贡献要高于同行的帖子。此外，社交媒体帖子的可预测性很低，相当于在没有上下文的情况下预测金融新闻。

值得关注的点包括：预测的不确定性很大程度上来自于hashtags和@-mentions；论文通过详细分析探讨了不可预测性的原因和发现的可靠性；实验设计中使用了大量的数据集，并且开源了代码；论文的结果表明，社交媒体帖子的可预测性很低，需要进一步探索。

最近在这个领域中，还有一些相关的研究，例如：“Predicting User Interactions in Social Media Using a Dynamic Language Model”和“Predicting User Behavior on Social Media using Geolocation and Deep Learning”等。