Universal Gloss-level Representation for Gloss-free Sign Language Translation and Production

手语对于聋人和听力有障碍的人来说是至关重要的，但由于其多模态性质和将手语动作映射到口语单词时固有的歧义性，手语翻译和制作面临着独特的挑战。以往的方法通常依赖于手语词汇注释，需要耗费大量时间和专门的手语专业知识。出现了无注释方法来解决这些限制，但它们通常依赖于外部手语数据或字典，不能完全消除对手语词汇注释的需求。因此，需要一种全面的方法，既可以替代手语词汇注释，又可以用于手语翻译和制作。我们介绍了一种名为“通用手语词汇级别表示法（UniGloR）”的统一自我监督解决方案，可用于手语翻译和制作，它是在多个数据集（包括PHOENIX14T、How2Sign和NIASL2021）上训练的。我们的结果表明，UniGloR在翻译和制作任务中非常有效。我们还报告了在以前未见过的数据上进行手语识别（SLR）的鼓舞人心的结果。我们的研究表明，自我监督学习可以以统一的方式进行，为未来研究中的创新和实际应用铺平道路。

解决问题：论文试图解决手语翻译和生成中存在的困难，包括需要耗费时间和专业知识的标注以及手语动作和口语单词之间的歧义。

关键思路：论文提出了一种自我监督的方法，称为Universal Gloss-level Representation（UniGloR），可以在没有标注的情况下进行手语翻译和生成，同时能够在手语识别方面取得良好的结果。

其他亮点：论文使用了多个数据集进行训练和测试，包括PHOENIX14T，How2Sign和NIASL2021。实验结果表明UniGloR在手语翻译和生成方面表现出色，并且能够在新数据上进行手语识别。这种自我监督的方法为未来的研究提供了创新和实用的应用。

相关研究：最近的相关研究包括使用深度学习进行手语翻译和生成的方法，以及使用手语数据集进行手语识别的方法。其中一些论文包括“Deep Sign Language Recognition: A Survey”和“Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation”。