Case Repositories: Towards Case-Based Reasoning for AI Alignment

案例研究通常在法律、伦理学和许多面临人类价值观指导下的复杂和模糊的社会问题的学科中形成教学骨干。当考虑如何将人工智能实践与价值观相一致时，也会出现类似的复杂性和模糊性：当面对来自不同个人和社区的大量多样化（有时是相互矛盾的）价值观时，人工智能应该对齐哪些价值观，以及如何做到这一点？我们提出了一种基于案例推理（CBR）思想的宪法人工智能对齐的补充方法，重点是通过对一组案例的判断构建政策。我们提出了一个过程来组装这样一个案例库：1）收集一个特定领域的“种子”案例——人们可能会问一个人工智能系统的问题；2）通过与领域专家的研讨会引出领域特定的案例关键维度；3）使用LLMs生成在野外未见过的案例变体；4）与公众接触以判断和改进案例。然后，我们讨论了这样一个案例库如何协助人工智能对齐，既通过直接作为先例来确定可接受的行为，也作为个人和社区进行围绕人工智能进行道德推理的媒介。

如何解决人工智能在面对不同社区和个人价值观时应该如何对齐的问题？

通过案例推理（CBR）构建一个案例库，通过案例的判断来制定政策，从而解决人工智能对齐的问题。

论文提出了一个四步骤的案例库构建过程，通过公众的判断和改进案例来帮助人工智能对齐，同时案例库也可以作为先例来规范人工智能行为。实验中使用了LLMs来生成案例变化，并且提供了案例库的原型。

最近相关的研究包括：'Towards Robust and Verified AI: Specification Testing, Robust Training, and Formal Verification'，'Value Alignment via Tractable Preference Distance'，'AI Alignment via Debate'等。