论文名称：Future Frame Prediction for Robot-assisted Surgery 作者：Xiaojie Gao, Yueming Jin, Zixu Zhao, Qi Dou, Pheng-Ann Heng 提交日期：2021.03.18 论文链接：https://arxiv.org/abs/2103.10308 推荐理由: 本文考虑手术任务可能具有复杂的动态特性，提出一种先验制导自动编码模型，用来预测机器人手术视频的未来帧。 现有的自然视频未来预测方法基于确定性模型或随机模型，包括深度递归神经网络，光流和潜在空间建模。但是，到目前为止，尚未挖掘出在外科手术场景中预测双臂机械手有意义运动的潜力，这比在自然场景中预测单臂机器人的独立运动更具挑战性。在本文中，提出了用于机器人手术视频序列中未来帧预测的三元先验制导可变自动编码器（TPG-VAE）模型。除了内容分发之外，作者的模型还学习运动分发，这对于处理外科工具的微小移动是新颖的。此外，作者将来自手势类的不变先验信息添加到生成过程中，以约束模型的潜在空间。实验表明，通过在公共JIGSAWS数据集上进行缝合任务，该模型获得了更加稳定和现实的未来帧预测场景。 本文贡献: 1、提出了一种基于VaE的条件机器人视频预测的新方法。 2、 建议的模型采用已习得的和固有的先验信息作为指导，以帮助在观察到的帧上生成将来的场景。 3、 基于随机VAE的方法可通过直接使用分布的期望值而无需采样来适应作为确定性方法。

内容中包含的图片若涉及版权问题，请及时与我们联系删除