Towards Inclusive Video Commenting: Introducing Signmaku for the Deaf and Hard-of-Hearing

之前的研究强调了弹幕——视频中基于文本的评论功能在吸引听众方面的潜力。然而，对于许多聋人和听障人士来说，美国手语（ASL）比英语更为重要。为了提高包容性，我们介绍了“Signmaku”，一种使用ASL的新评论机制，作为弹幕的手语对应物。通过一项需求调查研究（N=12）和一项被试内实验（N=20），我们评估了三种设计风格：真人脸、卡通人物和机器人形象。结果显示，卡通式的Signmaku不仅娱乐了参与者，还鼓励他们创建和分享ASL评论，并且相对于其他设计，隐私问题更少。相反，机器人形象在准确描绘手部动作和面部表情方面面临挑战，导致用户的认知需求更高。具有真人脸的Signmaku产生的认知负荷最低，也是三种类型中最易理解的。我们的研究结果为利用生成型人工智能创造Signmaku评论提供了新的设计启示，丰富了聋人和听障人士的共同学习体验。

论文旨在解决聋人和听力障碍人士不能使用danmaku评论机制的问题，提出了一种基于美国手语（ASL）的评论机制——Signmaku，旨在改善包容性。

论文通过设计三种不同类型的Signmaku，即真人脸、卡通人物和机器人，评估了它们的可行性。结果显示，卡通人物的Signmaku不仅娱乐性强，而且能够鼓励用户创建和分享ASL评论，同时也降低了用户的隐私担忧。

论文使用了需要发现研究和实验来评估Signmaku的设计，发现卡通人物的设计最受欢迎。此外，论文还提出了使用生成式AI来创建Signmaku评论的设计建议。

最近的相关研究主要集中在聋人和听力障碍人士的可访问性方面，例如使用字幕和手语翻译。