New Capability to Look Up an ASL Sign from a Video Example

2024年07月18日
  • 简介
    在ASL字典中查找一个未知的手语标志可能很困难。尽管(1)没有将基于英语的词汇分配给ASL符号的惯例;(2)ASL符号与英语单词之间没有一对一的对应关系,但大多数ASL字典仍然是基于英语词汇组织的。此外,如果用户既不知道目标符号的含义,也不知道它的可能的英文翻译,该怎么办?一些ASL字典通过指定发音特征(如手型、位置、运动特性等)来进行搜索。然而,这是一个繁琐的过程,不总是能成功查找。在这里,我们描述了一个新的系统,公开在Web上,以便查找ASL手语符号的视频(例如,网络摄像头录制或连续签名视频片段)。用户提交一个视频进行分析,并呈现五个最可能的符号匹配,按可能性递减的顺序排列,以便用户确认选择,然后进入我们的ASLLRP符号库条目。此外,这种视频查找也集成到我们最新版本的SignStream(R)软件中,以便促进ASL视频数据的语言注释,使用户可以直接在被注释的视频中查找符号,并在确认匹配后,直接输入该符号的词汇和特征,大大提高了ASL视频数据的语言注释的效率和一致性。
  • 图表
  • 解决问题
    ASL词典的不足之处,如何更方便地查询手语?
  • 关键思路
    提出了一种通过视频查询ASL词典的方法,通过手语视频匹配来查找手语符号,从而更方便快捷地查询ASL词典。
  • 其它亮点
    该方法可以直接从手语视频中查询手语符号,并可以集成到SignStream软件中,方便ASL视频数据的语言注释。
  • 相关研究
    目前还没有类似的视频查询ASL词典的方法,但是已经有一些基于手语符号的查询方法,如通过手势、手势属性等进行查询。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论