Improved Out-of-Scope Intent Classification with Dual Encoding and Threshold-based Re-Classification

在面向任务的对话和意图分类中，检测超出范围的用户话语是必不可少的。目前的方法面临着无法预测的异常值分布的困难，并且通常依赖于数据分布的假设。我们提出了双编码器阈值重新分类（DETER）来解决这些挑战。这个端到端的框架可以有效地检测超出范围的意图，而不需要对数据分布做出假设或进行额外的后处理步骤。DETER的核心利用双文本编码器，通用句子编码器（USE）和基于Transformer的去噪自编码器（TSDAE），生成用户话语嵌入，通过分支神经结构进行分类。此外，DETER使用自我监督生成合成异常值，并结合来自开放域数据集的超出范围短语。这种方法确保了超出范围检测的全面训练集。此外，基于阈值的重新分类机制可以优化模型的初始预测。在CLINC-150、Stackoverflow和Banking77数据集上的评估表明，DETER的效果显著。我们的模型在已知和未知意图的CLINC-150和Stackoverflow数据集上的F1得分分别提高了13%和5%，在Banking77数据集上已知意图提高了16%，未知意图提高了24%。源代码已经发布在https://github.com/Hossam-Mohammed-tech/Intent_Classification_OOS。

DETER试图解决在任务导向的对话和意图分类中检测异常用户话语的问题，而且不需要对数据分布进行假设。

DETER使用双文本编码器，即通用句子编码器（USE）和基于Transformer的去噪自编码器（TSDAE），生成用户话语嵌入，通过分支神经架构进行分类，使用自我监督生成合成异常值，并将来自开放领域数据集的超范围短语并入训练集，采用基于阈值的重新分类机制来提高模型的预测效果。

DETER的实验使用了CLINC-150、Stackoverflow和Banking77数据集，证明了其有效性，相比之前的基准测试，DETER在已知和未知意图上的F1分数分别提高了13％和5％（CLINC-150和Stackoverflow），以及16％的已知意图和24％的未知意图（Banking77）。DETER的源代码已在GitHub上开源。

在这个领域的相关研究包括：1.基于深度学习的意图分类方法综述；2.使用半监督学习进行意图分类的研究；3.使用BERT进行意图分类的研究。