Modular Pluralism: Pluralistic Alignment via Multi-LLM Collaboration

现有的对齐模式在开发大型语言模型（LLMs）方面发挥了重要作用，但LLMs通常学习平均人类偏好，并且很难模拟跨文化、不同人口和社区的多样化偏好。我们提出了一种基于多LLM协作的模块化多元主义框架，用于多元主义对齐：它将一个小型但专业的社区LM池“插入”到基本LLM中，其中模型以不同的模式协作，以灵活支持三种多元主义模式：Overton、可操纵和分布式。模块化多元主义与黑盒LLMs具有独特的兼容性，并提供模块化控制，以添加新的社区LLMs以覆盖以前未被代表的社区。我们使用六个任务和四个数据集对模块化多元主义进行评估，这些任务和数据集具有具有价值倾向和透视知情回答的问题/说明。广泛的实验表明，模块化多元主义推进了六个黑盒和开源LLMs的三个多元主义目标。进一步的分析表明，LLMs通常忠实于来自较小社区LLMs的输入，通过添加新的社区LM以无缝地修补以前未被代表的社区。

解决问题：论文旨在解决大型语言模型存在的问题，即难以模拟不同文化、不同人群和不同社区的多样化偏好。作者提出的 Modular Pluralism 模块化框架基于多个小型社区语言模型的协作，可以插入到基础语言模型中，以支持 Overton、可操纵和分布式三种多元主义模式。

关键思路：Modular Pluralism 是一个基于多个小型社区语言模型的协作框架，可以插入到基础语言模型中，以支持 Overton、可操纵和分布式三种多元主义模式。该框架可以与黑盒大型语言模型兼容，并提供模块化控制，以添加新的社区语言模型以覆盖以前未被代表的社区。

其他亮点：作者在六个任务和四个数据集上评估了 Modular Pluralism，这些任务和数据集包含具有价值取向和透视性响应的问题/指令。实验结果表明，Modular Pluralism 可以在六个黑盒和开源大型语言模型上实现三个多元主义目标的进展。进一步的分析表明，大型语言模型通常忠实于来自较小社区语言模型的输入，可以通过添加新的社区语言模型进行无缝修补，以更好地覆盖以前未被代表的社区。

相关研究：最近在这个领域中，还有一些相关的研究。例如，'Towards Fairness in Language Models: An Overview' 和 'The Inherent Trade-Offs between Fairness and Accuracy'。