Dynamic Face Video Segmentation via Reinforcement Learning通过强化学习进行动态人脸视频分割

【作者团队】Yujiang Wang, Mingzhi Dong, Jie Shen, Yang Wu, Shiyang Cheng, Maja Pantic

【论文链接】https://arxiv.org/pdf/1907.01296.pdf

【推荐理由】对于实时语义视频分割，最近的工作利用具有关键调度程序的动态框架来做出在线关键/非关键决策。一些工作使用了固定的密钥调度策略，而另一些则提出了基于启发式策略的自适应密钥调度方法，这两种方法都可能导致全局性能欠佳。为了克服这个限制，本文将动态视频分割中的在线关键决策过程建模为一个深度强化学习问题，并从有关决策历史的专家信息和最大化全局回报的过程中学习高效和有效的调度策略。此外，本文研究了动态视频分割在人脸视频上的应用，这是一个以前没有研究过的领域。通过对 300VW 数据集进行评估，实验表明，在有效的关键选择和运行速度方面，本文的强化关键调度程序的性能优于各种基线。Cityscapes 数据集的进一步结果表明，提出的方法也可以推广到其他场景。，这是第一项将强化学习用于动态视频分割中的在线关键帧决策的工作，也是第一项将其应用于人脸视频的工作。