TrustLLM: Trustworthiness in Large Language Models

大型语言模型（LLMs），例如ChatGPT，因其出色的自然语言处理能力而受到广泛关注。然而，这些LLMs在可信度方面存在许多挑战。因此，确保LLMs的可信度成为一个重要的话题。本文介绍了TrustLLM，这是一项关于LLMs可信度的全面研究，包括不同维度可信度的原则、建立基准、评估和分析主流LLMs的可信度，以及对开放性挑战和未来方向的讨论。具体而言，我们首先提出了八个不同维度的可信LLMs原则。基于这些原则，我们进一步建立了一个基准，包括真实性、安全性、公平性、鲁棒性、隐私和机器伦理六个维度。然后，我们在TrustLLM中对16个主流LLMs进行了评估，涵盖了30多个数据集。我们的发现首先表明，总体而言，可信度和效用（即功能有效性）呈正相关。其次，我们的观察结果显示，专有LLMs通常在可信度方面优于大多数开源对应物，这引发了对广泛可访问的开源LLMs潜在风险的担忧。然而，一些开源LLMs非常接近专有LLMs。第三，重要的是要注意，一些LLMs可能过于校准以显示可信度，以至于它们会错误地将良性提示视为有害，并因此不予回应而损害其效用。最后，我们强调了确保透明度的重要性，不仅在模型本身，而且在支撑可信度的技术方面。了解所采用的具体可信技术对于分析其有效性至关重要。

本文旨在解决大型语言模型（LLMs）在可信度方面存在的问题，包括真实性、安全性、公平性、鲁棒性、隐私和机器伦理等八个维度。同时，本文也试图验证不同维度的可信度与效用之间的关系。

本文提出了一套可信度原则，并在六个维度上建立了基准，包括真实性、安全性、公平性、鲁棒性、隐私和机器伦理。作者对16种主流LLMs进行了评估，发现可信度和效用之间存在正相关性。此外，私有LLMs通常比大部分开源LLMs表现更好，但是一些开源LLMs也非常接近私有LLMs。

本文的亮点包括建立了一套全面的可信度原则和基准，对16种主流LLMs进行了评估，发现可信度和效用之间存在正相关性。私有LLMs通常比大部分开源LLMs表现更好，但是一些开源LLMs也非常接近私有LLMs。作者还强调了透明度的重要性，不仅要了解模型本身的透明度，还要了解支持可信度的技术。

在这个领域中，最近的相关研究包括《The GPT-2 1.5B Release》、《Language Models are Few-Shot Learners》等。