本文是 ACM SIGGRAPH Asia 2021入选论文《基于关键帧和风格的相机运镜控制（Camera Keyframing with Style and Control）》的解读。该工作由北京大学前沿计算研究中心陈宝权-刘利斌课题组与法国雷恩第一大学、北京通用人工智能研究院等单位合作完成，用于解决动画、影视中的相机轨迹规划问题。该工作通过同时学习相机运镜规则与关键帧约束，实现了兼具风格化与细节的相机控制方法。

项目主页：

https://jianghd1996.github.io/publication/siga_2021/

论文地址：

http://cfcs.pku.edu.cn/baoquan/docs/2021-11/20211105111806156100.pdf

数据和代码开源链接：

https://github.com/jianghd1996/Camera-control

这篇工作目标是将基于样例和关键帧方法的长处结合起来，用学习的方法，去学习如何进行“智能化插值”。即用户控制关键帧，并给出带有期望相机运动的视频片段，我们从视频片段中学习“运镜规则”，并用该规则生成关键帧之间的相机轨迹。一方面，让“插值”变得“智能化”能让用户只需提供很少的关键帧就能生成一条很合理的相机轨迹；另一方面，用户依然能通过修改关键帧实现精细化的相机控制。

基于样例和关键帧的相机控制

作者在“基于样例”的方法上进行了扩展，同样是采用 gating+predicion 的网络框架，gating 用来提取样例中包含的“运镜规则”，并表示成一个低维向量 style code。prediction 网络根据 style code，对于输入的关键帧，以及拍摄对象信息，生成帧间的相机轨迹。

方法的框架流程，输入包括样例视频、关键帧、新场景的演员信息

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除