Self-Agreement: A Framework for Fine-tuning Language Models to Find Agreement among Diverse Opinions

解决问题：本篇论文旨在解决如何在多元意见中找到共识的问题。这个问题并不是新问题，但是在当前的研究中仍然具有挑战性。

关键思路：本文提出了一个名为“Self-Agreement”的框架，利用大型语言模型（LLMs）自主生成数据，然后使用基于BERT模型的方法评估其中的共识得分并选择得分最高的共识，最终通过 fine-tuning pre-trained LLMs 实现在多元意见中找到共识。相比于当前领域的研究，这篇论文的思路在于利用自主生成数据的方式避免了对大量人工标注数据的依赖。

其他亮点：本文的实验使用了GPT-3作为生成器，BERT作为评估器，并通过 fine-tuning pre-trained LLMs 实现了在多元意见中找到共识的目标。实验结果表明，使用Self-Agreement框架的fine-tuning pre-trained LLMs的性能相当于GPT-3的1/25，同时能够在不需要大量人工标注数据的情况下实现在多元意见中找到共识的目标。这个框架的应用有望在社交媒体、在线论坛等领域得到应用。

关于作者：本文的主要作者是Shiyao Ding和Takayuki Ito，他们分别来自香港理工大学和日本国立信息学研究所。Shiyao Ding曾经发表过题为“Towards End-to-End Speech Recognition with Deep Convolutional Neural Networks”的论文，Takayuki Ito则曾经发表过题为“Deep Learning in Spiking Neural Networks”的论文。

相关研究：近期的相关研究包括“Multi-Party Conversation Modeling with Topic Transition Prediction using a Transformer-based Hierarchical Variational Autoencoder”（作者：Wenqiang Lei，Yunlong Wang，Yi Yang，所在机构：南京大学）、“Collaborative Learning for Opinion Summarization: A Deep Reinforcement Learning Approach”（作者：Chenliang Li，Zhiyuan Liu，Yan Zhang，所在机构：中国科学院大学）等。

论文摘要：本文提出了自我协议(Self-Agreement)框架，用于微调大型语言模型(LLMs)以自主发现多样化意见中的一致性。最近，大型语言模型在理解人类意见和生成类人文本方面表现出了极强的潜力，但它们通常依赖于大量的人工标注数据。因此，本文的方法使用生成式预训练转换器-3(GPT-3)生成问题数据集中每个问题的多个意见，并在这些意见中创建多个协议候选项。然后，基于双向编码器表示转换器(BERT)的模型评估每个协议候选项的协议分数，并选择具有最高协议分数的协议候选项。这个过程产生了一个问题-意见-协议的数据集，我们用它来微调预训练的LLM，以发现多样化意见中的协议。值得注意的是，使用我们的自我协议框架微调的预训练LLM，仅使用GPT-3参数的1/25，就能达到与GPT-3相当的性能，展示了它在不需要人工标注数据的情况下，发现各种意见中的协议的能力。

内容中包含的图片若涉及版权问题，请及时与我们联系删除