Aligning with Logic: Measuring, Evaluating and Improving Logical Consistency in Large Language Models

最近的大型语言模型（LLMs）研究显示，LLMs与人类偏好的对齐方面取得了有希望的进展。预计LLM增强的决策系统将是可预测、可靠和值得信任的，这意味着它们应该没有悖论或矛盾，这可能会损害它们的可信度和有效性。然而，LLMs在做出决策或判断时仍然表现出不一致和有偏见的行为。在这项工作中，我们专注于研究LLMs的逻辑一致性，这是更可靠和值得信赖的系统的先决条件。逻辑一致性确保决策基于对问题的稳定和连贯的理解，减少了出现错误或矛盾输出的风险。我们首先提出了一个通用框架，通过三个基本代理来量化逻辑一致性：传递性、交换律和否定不变性。然后，我们使用定义的度量来评估广泛范围的LLMs的逻辑一致性，证明它可以作为总体鲁棒性的强有力代理。此外，我们引入了一种数据细化和增强技术，可以增强LLMs的逻辑一致性，而不会牺牲与人类偏好的对齐。它通过使用排名聚合方法估计部分或完全有序的偏好排名来增强嘈杂和稀疏的成对比较注释。最后，我们展示了逻辑一致性对基于LLMs的逻辑相关算法的性能产生影响，其中LLMs充当逻辑运算符。

研究逻辑一致性对于大型语言模型的影响，提高决策系统的可靠性和可信度。

通过三个基本指标（传递性、可交换性和否定不变性）量化逻辑一致性，评估各种大型语言模型的逻辑一致性，并提出一种数据细化和增强技术来提高逻辑一致性。

论文提出了一种通用的框架来量化逻辑一致性，通过实验评估了多种大型语言模型的逻辑一致性，并提出了一种数据细化和增强技术来提高逻辑一致性。

最近的相关研究包括“Large Language Models in Machine Learning”和“Improving Robustness of Large-Scale Language Models by Learning with Out-Of-Distribution Examples”等。