MoralBench: Moral Evaluation of LLMs

在快速发展的人工智能领域中，大型语言模型(LLMs)已成为强大的工具，可用于从自然语言处理到决策支持系统的各种应用。然而，随着这些模型越来越多地融入社会框架，确保它们在道德和伦理边界内运作的必要性变得更加关键。本文介绍了一种新的基准，旨在衡量和比较LLMs的道德推理能力。我们提出了第一个专门策划探索LLM输出的道德维度的全面数据集，涵盖反映现实世界复杂性的各种伦理困境和情境。本研究的主要贡献在于开发了基准数据集和度量标准，用于评估LLMs的道德特性，考虑了细微差别、情境敏感性和与人类伦理标准的一致性。我们的方法包括多方面的方法，结合了来自伦理学者的定量分析和定性洞察，以确保对模型性能进行全面评估。通过在几个领先的LLMs上应用我们的基准，我们发现不同模型的道德推理能力存在显著差异。这些发现突显了在开发和评估LLMs时考虑道德推理的重要性，以及需要进行持续研究以解决我们研究中发现的偏见和限制。我们公开发布了基准数据集，网址为https://drive.google.com/drive/u/0/folders/1k93YZJserYc2CkqP8d4B3M3sgd3kA8W7，同时也将项目代码开源，网址为https://github.com/agiresearch/MoralBench。

本论文旨在解决大型语言模型（LLMs）在道德推理方面存在的问题，提出了一个新的基准来衡量和比较LLMs的道德推理能力。

论文的关键思路是开发一个基准数据集和度量标准，以评估LLMs的道德推理能力，并结合定量分析和伦理学者的定性见解，确保对模型性能进行全面评估。

论文首次提出了一个专门针对LLMs的道德维度的全面数据集，涵盖了许多反映现实世界复杂性的伦理困境和情景。通过将基准应用于几个领先的LLMs，揭示了不同模型的道德推理能力存在显著差异。论文公开了基准数据集和代码，以供研究者使用和进一步研究。

最近在这个领域中，也有其他研究探讨了LLMs的道德推理能力，如“Measuring Moral Reasoning in AI”和“Moral Decision Making in Intelligent Machines: A Survey”。