CheckEmbed: Effective Verification of LLM Solutions to Open-Ended Tasks

大型语言模型(LLMs)正在改变各个领域，但验证它们的答案仍然是一个重大挑战，特别是对于复杂的开放式任务，如知识整合、摘要和提取。在这项工作中，我们提出了CheckEmbed:一种准确、可扩展和简单的LLM验证方法。CheckEmbed的驱动力是一个简单但强大的想法:为了将LLM解决方案相互比较或与基准进行比较，请使用诸如GPT文本嵌入大型模型等模型获得相应的答案级嵌入来进行比较。这将复杂的文本答案简化为单个嵌入，从而便于直接、快速和有意义的验证。我们开发了一个实施CheckEmbed方法的全面验证流程。CheckEmbed流程还配备了用于评估LLM答案真实性的度量标准，例如嵌入热图及其摘要。我们展示了如何使用这些度量标准来部署实用的引擎，决定LLM答案是否令人满意。我们将该流程应用于现实世界的文档分析任务，包括术语提取和文档摘要，展示了与现有的基于标记、句子和事实级别方案（如BERTScore或SelfCheckGPT）相比，在准确性、成本效益和运行时性能方面的显着改进。

论文旨在解决验证LLM答案的问题，特别是对于复杂的开放式任务，如知识整合、摘要和提取。该方法需要一个准确、可扩展和简单的验证方法。

CheckEmbed是一种验证LLM答案的方法，通过使用GPT Text Embedding Large等模型获取对应答案级别的嵌入，将复杂的文本答案简化为单个嵌入，从而实现直观、快速和有意义的验证。

CheckEmbed提供了一套完整的验证流程，包括嵌入热图和摘要等指标，可以用于部署实用的引擎来判断LLM答案是否满意。论文在实际文档分析任务中应用了该流程，包括术语提取和文档摘要，相比于现有的基于令牌、句子和事实级别的方案，如BERTScore或SelfCheckGPT，实现了显著的准确性、成本效益和运行时性能的提升。

与此相关的研究包括BERTScore和SelfCheckGPT等方案。