Localizing Moments of Actions in Untrimmed Videos of Infants with Autism Spectrum Disorder

2024年04月08日
  • 简介
    这篇论文探讨了自闭症谱系障碍(ASD)在早期诊断和干预方面的挑战,这对儿童及其家庭产生了影响。随着患病率的上升,需要开发易于获取和高效的筛查工具。利用机器学习(ML)技术,特别是时间动作定位(TAL),有望自动化ASD筛查。本文介绍了一种基于自我注意力的TAL模型,旨在识别婴儿视频中与ASD相关的行为。与现有方法不同,我们的方法简化了复杂的建模过程,强调了效率,这对于实际部署在现实环境中至关重要。重要的是,这项工作强调了开发能够在自然环境中运作的计算机视觉方法的重要性,这些方法对ASD筛查中的关键挑战至关重要,因为这种环境下很少有设备控制。这项研究是第一个在ASD婴儿未经剪辑的视频中进行端到端时间动作定位的研究,为早期干预和支持提供了有前途的途径。我们报告了使用我们的TAL模型进行行为检测的基线结果。我们实现了70%的看脸准确率,79%的看物体准确率,72%的微笑准确率和65%的发声准确率。
  • 图表
  • 解决问题
    利用机器学习技术自动化婴儿自闭症筛查,解决早期诊断和干预的挑战,提高筛查工具的可访问性和效率。
  • 关键思路
    引入基于自注意力的时间动作定位模型,通过简化复杂建模和强调效率来识别婴儿视频中的自闭症相关行为。该方法可以在自然环境下运行,适用于实际场景。
  • 其它亮点
    论文首次在自闭症患儿未剪辑视频中进行端到端的时间动作定位,实现了行为检测。作者使用的基于自注意力的TAL模型,在观察面孔、观察物体、微笑和发声方面的准确率分别达到了70%,79%,72%和65%。
  • 相关研究
    最近的相关研究包括:1)使用深度学习方法进行自闭症筛查;2)使用计算机视觉技术进行自闭症行为检测;3)使用不同的特征提取和分类方法来识别自闭症行为。相关论文包括:“Deep Learning for Autism Screening: A Study with Robustness and Explainability Analysis”、“Computer Vision-Based Autism Behavior Detection in Infants”和“Autism Detection Using Machine Learning Algorithms with Different Feature Selection Techniques”。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论