Reviewing Intelligent Cinematography: AI research for camera-based video production

本文全面回顾了人工智能（AI）在娱乐实景摄影内容获取方面的研究，旨在面向研究人员和电影摄影师。考虑到计算机视觉研究的广度和智能电影摄影（IC）领域缺乏综述论文，本综述介绍了IC领域的整体视角，并为跨学科的专家提供了技术洞察。我们在主要讨论前介绍了生成式AI、目标检测、自动相机校准和三维内容获取的技术背景，并提供了解释性文章以帮助非技术读者。主要讨论将工作按照四种制作类型分类：普通制作、虚拟制作、现场制作和航拍制作。请注意，对于虚拟制作，我们不讨论与虚拟内容获取相关的研究，包括自动生成视频的工作，如稳定扩散。在每个部分中，我们（1）通过技术研究领域对工作进行子分类-反映在子部分中，（2）评估每种制作类型的趋势和挑战。在最后一章中，我们对IC研究的更广泛范围提出了结论性意见，并概述了我们认为具有显着潜力影响整个行业的工作。我们发现，与虚拟制作相关的工作具有对其他制作媒介产生最大影响的潜力，这是由于对LED舞台/体积进行摄影的兴趣不断增长，以实现摄影中的虚拟效果（ICVFX）和用于虚拟建模真实场景和演员的自动化三维捕捉。这是第一篇提供IC研究结构化和全面审查的文献。因此，我们在…中解决了涉及艺术家、演员和公众的创意AI使用的道德和法律问题。

论文旨在综述智能摄影技术在娱乐内容采集中的应用，并为研究人员和电影制片人提供技术洞见。同时，论文也试图解决涉及人工智能创作的伦理和法律问题。

论文提供了智能摄影技术在不同类型制作中的分类和应用，特别是虚拟制作领域的潜力。同时，论文还介绍了生成式人工智能、物体检测、自动化相机校准和三维内容采集等技术的背景知识和应用。

论文的亮点包括：提供了全面的智能摄影技术综述；介绍了虚拟制作领域的潜力和ICVFX技术；涉及伦理和法律问题；给出了相关研究的参考文献。

最近的相关研究包括：《Stable Diffusion》等关于虚拟内容采集和自动生成视频的研究。