Diffusion-Promoted HDR Video Reconstruction

本文提出了一种名为HDR-V-Diff的基于扩散模型的高动态范围（HDR）视频重建方法，旨在从交替曝光拍摄的低动态范围（LDR）帧中生成HDR视频。与大多数现有方法仅依赖回归模型不同，HDR-V-Diff采用扩散模型捕捉HDR分布，从而能够重建具有逼真细节并减轻鬼影伪影的HDR视频。然而，直接引入视频扩散模型将会带来巨大的计算负担。因此，本文首先提出了一种HDR潜在扩散模型（HDR-LDM）来学习单个HDR帧的分布先验，HDR-LDM采用色调映射策略将HDR帧压缩到潜在空间，并使用新颖的曝光嵌入来聚合曝光信息到扩散过程中。接着，本文提出了一种时域一致对齐模块（TCAM）来学习时间信息，该模块在不同尺度上对视频帧进行粗到细的特征对齐。最后，本文设计了一种零初始化交叉注意力（ZiCA）机制，以有效地整合学习到的分布先验和时间信息以生成HDR帧。广泛的实验验证了HDR-V-Diff在多个代表性数据集上实现了最先进的结果。

本文旨在解决从低动态范围（LDR）帧生成高动态范围（HDR）视频的问题，同时避免出现鬼影和饱和区域缺失细节等不利影响。

本文提出了一种扩散促进的方法进行HDR视频重建，称为HDR-V-Diff，它结合了扩散模型来捕获HDR分布。通过HDR-LDM学习单个HDR帧的分布先验，并使用TCAM和ZiCA机制来学习时序信息和有效地集成分布先验，从而生成HDR帧。

本文的亮点包括使用HDR-LDM学习分布先验、使用TCAM学习时序信息、使用ZiCA机制有效集成分布先验和时序信息、在多个数据集上实现了最先进的结果。

与本文相关的研究包括基于回归的方法和其他基于深度学习的方法，如HDRNet、Deep SR-ITM、HDR video generation等。