【论文标题】Learning the Predictability of the Future 【作者团队】D´ıdac Sur´ıs，Ruoshi Liu，Carl Vondrick 【发表时间】2021/1/1 【机构】哥伦比亚大学 【论文链接】https://arxiv.org/pdf/2101.01600.pdf 【代码链接】https://github.com/cvlab-columbia/hyperfuture 【推荐理由】 本文出自哥伦比亚大学，作者基于双曲空间提出了一种可以根据数据学习出视频中未来的可预测部分的预测模型，在使用无标签视频的情况下，本文提出的方法达到的表征也可以显示出层次化的动作。

在本文中，作者提出了一种根据无标签的视频学习未来可预测的内容的框架。本文提出的方法可以根据数据学习出未来的可预测部分，而不是预先对特性进行预测。由于双曲几何可以自然并紧凑地对层次结构进行编码，本文作者提出了一种双曲空间内的可预测模型。当模型置信度最高时，它将在层次结构的某个具体的级别上进行预测；而当模型置信度较低时，它会学着自动地选择更高级别的抽象。为了证明层次化的表征对于动作预测的关键作用，作者在两个数据集上进行了验证实验。在使用无标签视频的情况下，本文提出的方法达到的表征也可以显示出层次化的动作。

图 1：具有不确定性的未来
给定一组具体的过去的视频帧，由庞加莱球中不同的正方形得到的表征可以编码不同的未来情况。当模型具有不确定性时，它会对未来所有的可能性进行抽象预测（图 1 中红色正方形代表的 z_hat）。当置信度提高时，我们可以得到更具体的预测结果。假设蓝色的正方形代表真实的未来情况，灰色箭头代表随着我们获得更多的信息而产生的预测轨迹。粉红色的圆代表我们计算两种特定表征的均值时例证的增加。

内容中包含的图片若涉及版权问题，请及时与我们联系删除