From Instructions to Constraints: Language Model Alignment with Automatic Constraint Verification

用户对齐对于将通用语言模型（LMs）适应下游任务至关重要，但通常并非所有类型的指令都有人类注释，特别是带有定制化约束的指令。我们观察到用户指令通常包含约束条件。虽然从整个指令的角度评估响应质量通常很昂贵，但有效地评估约束条件的满意度是可行的。我们调查了NLP任务中常见的约束条件，根据它们的参数类型将它们分为三类，并提出了一个统一的框架，即ACT（Aligning to ConsTraints），用于自动为带有约束的用户对齐生成监督信号。具体而言，ACT使用约束验证器来计算每个响应的约束满足率（CSR），这通常在实践中很容易实现。它对每个提示采样多个响应，并自动收集基于它们的CSR的首选标签。随后，ACT通过基于排名的学习过程将LM适应于目标任务。在细粒度实体类型、抽象摘要和时间问答方面的实验表明，ACT能够增强LM遵循不同类别的约束的能力，从而提高任务性能。进一步的实验表明，约束遵循能力是可转移的。

本文旨在解决缺少用户对于带有定制化约束的指令的标注数据对于下游任务的影响问题，提出了一种自动化生成用户对齐约束的监督信号的方法。

本文提出了ACT框架，通过使用约束验证器计算每个响应的约束满足率，并根据其满足率自动收集偏好标签，从而使LM适应目标任务。

本文将约束分为三类，并使用ACT框架进行了实验验证，实验结果表明，该框架能够提高LM遵循不同类别约束的能力，从而提高任务性能。此外，实验还表明，该约束遵循能力是可转移的。

最近的相关研究包括使用无监督学习方法进行对齐，以及使用强化学习方法进行对齐。