HC$^2$L: Hybrid and Cooperative Contrastive Learning for Cross-lingual Spoken Language Understanding

这篇论文探讨了零样本跨语言口语理解的最先进模型。该模型采用了跨语言无监督对比学习技术，实现了每个话语及其代码切换数据之间的标签无关语义对齐。然而，该模型忽略了宝贵的意图/槽标签，这些标签信息有望帮助捕捉标签感知的语义结构，并利用监督对比学习来改进源语言和目标语言的语义。因此，本文提出了混合协作对比学习方法来解决这个问题。除了跨语言无监督对比学习外，我们设计了一个全面的方法，利用源语言监督对比学习、跨语言监督对比学习和多语言监督对比学习来进行标签感知的语义对齐。每种监督对比学习机制包括单任务和联合任务两种情况。在我们的模型中，一个对比学习机制的输入受到其他机制的增强。因此，在训练过程中，总共有四种对比学习机制协作学习，以学习更一致和有区分性的表示。实验表明，我们的模型在9种语言上都取得了一致的改进，达到了新的最先进性能。

本论文旨在解决零样本跨语言口语理解中忽略意图/槽标签信息的问题，提出了一种混合协作对比学习的方法。

论文提出了一种综合性的方法，利用源语言有监督对比学习、跨语言有监督对比学习和多语言有监督对比学习来进行标签感知的语义对齐，同时采用单任务和联合任务的对比学习机制，并将四种对比学习机制相互增强，形成良性循环，以学习更加一致和具有区分度的表示。

论文在9种语言上进行了实验，取得了新的最优表现。实验使用了多个数据集，包括自然语言理解数据集和多语言语音理解数据集，并开源了代码。值得进一步研究的是如何将该方法应用于其他自然语言处理任务中。

相关研究包括：《Zero-shot cross-lingual spoken language understanding with transferable semantic slots》、《Multilingual Spoken Language Understanding with Similarity Learning》等。