SLM Meets LLM: Balancing Latency, Interpretability and Consistency in Hallucination Detection

大型语言模型（LLMs）具有高度的能力，但在实时应用中面临延迟挑战，例如进行在线幻觉检测。为了克服这个问题，我们提出了一个新的框架，利用一个小型语言模型（SLM）分类器进行初步检测，然后使用LLM作为受约束的推理器来生成检测到的幻觉内容的详细解释。本研究通过引入有效的提示技术来优化实时可解释的幻觉检测，使LLM生成的解释与SLM决策相一致。实证实验结果证明了其有效性，从而提高了整体用户体验。

提高实时可解释幻觉检测的效率和准确性

使用小语言模型（SLM）分类器进行初步检测，再使用大语言模型（LLM）作为有限的推理器来生成幻觉内容的详细解释，并通过有效的提示技术来对齐LLM生成的解释和SLM的决策

论文提出的方法在实验中表现出了有效性，提高了用户体验。研究使用了开源数据集，可以为其他研究提供参考。

在幻觉检测领域，最近的相关研究包括“Detecting Hallucinated Text in Online Conversations Using Contextual Information”和“Detecting Hallucinated Content in Social Media Posts Using Semantic and Linguistic Cues”。