GFFE: G-buffer Free Frame Extrapolation for Low-latency Real-time Rendering

实时渲染一直在追求越来越高的效果，例如光线追踪。然而，在高分辨率和高帧率下渲染这些效果仍然具有挑战性。帧外推方法可以通过基于之前的帧生成未来的帧来提高帧率，而不像帧内插方法（例如DLSS 3和FSR 3）那样引入额外的延迟。然而，由于缺少不连续区域的信息，帧外推方法是一项更具挑战性的任务，而且由于需要G缓冲区作为输入，最近的方法也具有高昂的引擎集成成本。我们提出了一种新的启发式框架和高效的神经网络，称为\emph{G缓冲区免费}帧外推（GFFE），可以在不引入额外延迟的情况下，在实时中合理地生成新帧。我们分析了动态碎片的运动和不同类型的不连续区域，并设计了相应的模块来处理它们。在填充不连续区域后，使用轻量级的着色校正网络来校正着色并改善整体质量。与先前的内插和依赖于G缓冲的外推方法相比，GFFE取得了相当或更好的结果，具有更高效的性能和更容易的游戏集成。

解决问题：论文试图在不需要G-buffer输入的情况下，通过新的启发式框架和高效的神经网络，实现在实时渲染中生成高质量的未来帧，以提高帧率和分辨率。

关键思路：论文提出了一种G-buffer free的帧外推方法，使用新颖的启发式框架和高效的神经网络来处理动态片段的运动和不同类型的未知区域，然后使用轻量级的着色校正网络来提高整体质量。

其他亮点：论文的实验结果表明，GFFE的性能比之前的插值和需要G-buffer的外推方法更加高效，并且易于游戏集成。论文还提出了对未来工作的建议，例如对GFFE的改进和更广泛的应用。

相关研究：最近的相关研究包括Deep Learning Super Sampling (DLSS)和FidelityFX Super Resolution (FSR)等方法。