A Hong Kong Sign Language Corpus Collected from Sign-interpreted TV News

本文介绍了TVB-HKSL-News，这是一份新的香港手语（HKSL）数据集，该数据集是从一档电视新闻节目中收集的，历时7个月。收集此数据集旨在丰富HKSL资源，支持大词汇连续手语识别（SLR）和翻译（SLT）的研究。该数据集包括两名手语者的16.07小时手语视频，其中一个手语者有11.66小时的手语视频，另一个手语者有4.41小时的手语视频。词汇量为6,515个手语词汇（用于SLR）和2,850个汉字或18K个汉字单词（用于SLT）。建立数据集的一个目标是支持研究如何在给定（相对）大量的训练数据的情况下为单个手语者进行大词汇连续手语识别/翻译，这可能会导致新建模方法的开发。此外，数据收集管道的大部分部分都是自动化的，几乎没有人为干预；如果有这样的手语翻译视频，我们相信我们的收集方法可以轻松扩大规模，以收集更多手语数据用于未来的SLT。我们还在数据集上运行了SOTA SLR / SLT模型，并获得了34.08％的基线SLR词错误率和23.58的基线SLT BLEU-4分数，以便为数据集上的未来研究提供基准。

本论文旨在收集大量的香港手语视频数据集，以支持大词汇连续手语识别（SLR）和翻译（SLT）的研究。

本论文的关键思路是收集了16.07小时的香港手语视频数据集，包括6515个手语词汇（用于SLR）和2850个中文字符或18K中文单词（用于SLT），其中大部分数据收集过程都是自动化的。该数据集可以用于训练单个手语用户的大词汇连续手语识别/翻译模型，并为未来的研究提供基准。

本文的亮点包括：1.收集了大量的香港手语视频数据集，且数据收集过程自动化程度高；2.使用该数据集进行实验，得到了基准的SLR和SLT结果；3.该数据集可以用于训练单个手语用户的大词汇连续手语识别/翻译模型，并为未来的研究提供基准。

最近在这个领域中，还有一些相关的研究被进行，例如：1.《Deep Sign：End-to-end Sign Language Recognition using Deep Learning》；2.《Sign Language Recognition using Convolutional Neural Networks and Long Short-Term Memory》。