COMMUNITY-CROSS-INSTRUCT: Unsupervised Instruction Generation for Aligning Large Language Models to Online Communities

社会科学家使用调查来探究人群的观点和信仰，但这些方法缓慢、昂贵且容易受到偏见的影响。最近，大型语言模型（LLMs）的进展使得可以创建计算表示或“数字孪生”，以生成类似于人类的响应，模仿人群的语言、风格和态度。我们介绍了Community-Cross-Instruct，这是一个无监督的框架，用于将LLMs与在线社区对齐，以引出其信仰。给定社区在线讨论的语料库，Community-Cross-Instruct通过先进的LLM自动生成指令-输出对，以(1)微调基础LLM以忠实地表示该社区，并(2)评估微调模型与社区的对齐情况。我们展示了该方法在准确表示Reddit上的政治和健身社区方面的实用性。与以往需要人类编写指令的方法不同，Community-Cross-Instruct以完全无监督的方式生成指令，增强了可扩展性和跨领域的普适性。这项工作使得成本效益高且自动化的调查多样化的在线社区成为可能。

论文旨在通过使用大语言模型（LLMs）生成群体的计算机化表示，以提高调查效率和降低成本。同时，论文还试图解决传统调查方法的缺点，如速度慢、成本高、容易出现偏差等问题。

论文提出了一种无监督的框架，称为Community-Cross-Instruct，可将LLMs与在线社区对齐，以获取它们的信仰和观点。该框架通过生成指令-输出对来完成任务，使得LLMs能够准确地表示社区的语言、风格和态度。与先前需要人工编写指令的方法不同，Community-Cross-Instruct可以在无监督的情况下生成指令，提高了可扩展性和跨领域的泛化能力。

论文使用Reddit上的政治和健身社区作为案例，证明了该方法的实用性和准确性。实验结果表明，Community-Cross-Instruct可以在不需要人工干预的情况下，自动对LLMs进行微调，使其能够准确地表示社区。此外，该论文还提供了数据集和开源代码，方便其他研究人员进行进一步研究。

在这个领域中，最近的相关研究包括：1.《Language Models as Representations for Social Groups》；2.《Learning to Generate Personalized Outfit Recommendations for New Users》；3.《A Survey of Natural Language Generation Techniques with a Focus on Dialogue Systems》等。