Displacement-Invariant Matching Cost Learning for Accurate Optical Flow Estimation

论文链接：https://arxiv.org/abs/2010.14851 代码链接：https://github.com/jytime/DICL-Flow

表现SOTA！性能优于VCN、HD3F和LiteFlowNet2等网络，代码即将开源！作者单位：澳大利亚国立大学, NEC Labs, 腾讯AI Lab等

学习matching costs已被证明对最新的深度立体匹配方法的成功至关重要，在这种方法中，将3D卷积应用于4D特征量以了解3D cost volume。但是，这种机制从未用于光流任务。这主要是由于在光流计算的情况下搜索维度显著增加，即直接扩展将需要密集的4D卷积才能处理5D特征量，而这在计算上是令人望而却步的。本文提出了一种新颖的解决方案，该解决方案能够绕开构建5D特征量的要求，同时仍然允许网络从数据中学习合适的匹配代价。我们的关键创新是将2D位移之间的联系解耦，并在每个2D位移假设下独立学习匹配成本，即位移不变代价学习。具体来说，我们在每个2D位移假设上独立地应用相同的基于2D卷积的匹配网络，以学习4D cost volume。此外，我们提出了位移感知投影层来缩放学习成本量，从而重新考虑了不同位移候选之间的相关性，并缓解了学习cost volume中的多模态问题。然后将cost volume投影到通过2D soft-argmin层的光流估计中。大量的实验表明，我们的方法在各种数据集上都达到了最新的准确性，并且优于Sintel基准上所有已发布的光流方法。

内容中包含的图片若涉及版权问题，请及时与我们联系删除