YouTube-SL-25: A Large-Scale, Open-Domain Multilingual Sign Language Parallel Corpus

即使是像美国手语（ASL）这样研究较多的手语，数据也是机器学习研究的瓶颈。而对于世界各地聋人/听障社区使用的许多其他手语，情况则更为糟糕。本文介绍了YouTube-SL-25，这是一个大规模的、开放领域的、多语种的手语视频语料库，其中包含了来自YouTube的看似对齐的字幕。YouTube-SL-25拥有超过25种手语的3000多小时视频，它a) 是YouTube-ASL规模的3倍以上，b) 是迄今为止最大的平行手语数据集，c) 是许多组成语言的第一个或最大的平行数据集。我们使用基于T5的统一多语种多任务模型提供了手语到文本任务的基线，并在4种手语的基准测试上报告了分数。结果表明，多语种转移对YouTube-SL-25中的高资源和低资源手语都有益。

本论文旨在解决手语数据稀缺的问题，提出了一个基于YouTube的大规模多语言手语视频语料库YouTube-SL-25，并提供了多语言多任务模型的基线性能。

本论文的关键思路是利用YouTube视频数据构建跨语言的手语数据集，并使用多语言多任务学习方法提高跨语言手语翻译的性能。

本论文提出的YouTube-SL-25数据集包含25种手语语言，超过3000小时的视频数据，是目前规模最大的手语数据集之一。论文使用T5模型构建多语言多任务模型，并在4种手语语言上进行了实验，结果表明跨语言多任务学习可以提高手语翻译的性能。

与本论文相关的研究包括使用手语数据集进行手语翻译的研究，以及使用多语言多任务学习提高机器翻译性能的研究。