RAIN: Real-time Animation of Infinite Video Stream

实时动画在增强在线互动方面获得了极大的 popularity，但使用扩散模型实现高质量、实时且稳定的动画仍然充满挑战，尤其是在消费级 GPU 上。现有方法在高效生成长时间连贯的视频流时面临困难，通常受制于延迟问题以及长时间后的视觉质量下降。 本文中，我们介绍了 RAIN，这是一种能够在单个 RTX 4090 GPU 上以低延迟实现实时无限视频流动画的管道解决方案。RAIN 的核心思想是在不同的噪声水平和长时间间隔内高效计算帧标记注意力，同时去噪比以往基于流的方法多得多的帧标记。这种设计使得 RAIN 能够以更短的延迟和更快的速度生成视频帧，同时在扩展的视频流中保持长程注意力，从而增强了连续性和一致性。 因此，经过 RAIN 微调仅几轮的稳定扩散模型可以在几乎不牺牲质量和一致性的情况下，实现实时和低延迟的视频流生成，甚至可以达到无限长。尽管具备先进的能力，RAIN 仅引入了几个额外的一维注意力块，增加了最小的额外负担。基准数据集上的实验和超长视频的生成表明，RAIN 可以以更高的质量、准确性和一致性实时动画化角色，同时延迟更低。所有代码和模型都将公开发布。

该论文试图解决在消费级GPU上实现高质量、实时且稳定的动画生成的问题，特别是使用扩散模型生成长时间一致的视频流时遇到的挑战。这包括解决现有方法在生成长视频时面临的延迟问题和视觉质量下降的问题。这是一个持续受到关注的问题，但目前仍缺乏有效的解决方案。

RAIN的核心思路是通过高效计算不同噪声水平和长时间间隔的帧标记注意力，并同时对大量帧标记进行去噪。相比现有方法，RAIN能够在保持长程注意力的同时，显著缩短延迟并提高生成速度。此外，RAIN仅引入少量额外的1D注意力块，从而对计算资源的需求增加有限。这种设计使得RAIN能够在单个RTX 4090 GPU上实现实时、低延迟的无限视频流生成。

论文展示了RAIN在多个基准数据集上的优越性能，并成功生成了超长视频，证明其在实时动画生成中的优势。实验设计涵盖了多种场景，验证了RAIN在质量和一致性方面的显著提升。所有代码和模型将公开发布，为后续研究提供了宝贵的资源。未来的研究可以进一步探索RAIN在不同硬件平台上的表现，以及其在更多应用场景中的潜力。

近期相关研究包括：1. 使用Transformer架构改进视频生成的质量；2. 优化扩散模型以减少推理时间；3. 提出新的去噪算法以提高视频一致性。一些相关的论文标题有：《Transformers for Video Generation》、《Optimizing Diffusion Models for Real-Time Inference》、《Enhancing Video Consistency with Advanced Denoising Techniques》。