OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation

在开发既具有泛化性又具有鲁棒性的光流估计模型时，地面真实标签的稀缺性是一个主要挑战。虽然当前的方法依赖于数据增强，但它们尚未完全利用标记视频序列中可用的丰富信息。我们提出了一种名为OCAI的方法，它通过在光流之间生成中间视频帧来支持鲁棒的帧插值。利用前向变形方法，OCAI利用遮挡感知来解决像素值的歧义，并通过利用光流的前向-后向一致性来填补缺失值。此外，我们引入了一种基于师生式半监督学习方法来训练插值帧的学生模型。使用一对未标记的帧和教师模型预测的光流，我们生成插值帧和光流来训练学生模型。教师的权重使用学生的指数移动平均值进行维护。我们的评估表明，在Sintel和KITTI等已建立的基准测试中，OCAI具有更好的插值质量和增强的光流精度。

论文提出了一种支持鲁棒帧插值的方法，旨在解决当前光流估计模型中标签稀缺的问题。

OCAI方法通过生成中间视频帧和光流来支持鲁棒的帧插值，利用前向变形方法和遮挡感知来解决像素值的歧义和缺失值，并引入了一种基于教师-学生式半监督学习方法来训练模型。

论文在Sintel和KITTI等公认的基准测试数据集上进行了实验，结果表明OCAI方法具有更好的插值质量和光流精度。此外，论文还开源了代码，值得进一步研究。

在这个领域的相关研究包括：《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》、《Unsupervised Learning of Optical Flow with CNNs》等。