HDRTransDC: High Dynamic Range Image Reconstruction with Transformer Deformation Convolution

高动态范围（HDR）成像旨在通过融合多曝光低动态范围（LDR）图像生成一个没有伪影的HDR图像，具有逼真的细节。由于输入的LDR图像中存在大运动和严重的欠曝光/过曝光，HDR成像遭受到伪影和融合失真的困扰。为了解决这些关键问题，我们提出了一个HDR Transformer Deformation Convolution（HDRTransDC）网络，用于生成高质量的HDR图像，其中包括Transformer Deformable Convolution Alignment Module（TDCAM）和Dynamic Weight Fusion Block（DWFB）。为了解决伪影问题，所提出的TDCAM从整个非参考特征中提取类似于参考特征的远距离内容，能够准确地消除错位并填充被运动物体遮挡的内容。为了消除融合失真，我们提出了DWFB来在帧间空间自适应地选择有用信息，以有效地融合多曝光特征。广泛的实验表明，我们的方法在定量和定性上均达到了最先进的性能。

本论文旨在解决HDR图像合成过程中出现的鬼影伪影和融合失真问题。

本文提出了HDRTransDC网络，包括TDCAM和DWFB两个部分。TDCAM能够有效提取长距离的内容信息，填充运动物体遮挡的区域，解决鬼影伪影问题；DWFB能够自适应地选择有用的信息进行特征融合，解决融合失真问题。

本文在多个数据集上进行了实验，结果表明HDRTransDC网络在定量和定性上都达到了最先进的水平。此外，作者还开源了代码，方便其他研究者进行复现和进一步研究。

近期相关研究包括：'Deep High Dynamic Range Imaging of Dynamic Scenes'、'Deep Video HDR Reconstruction with Hybrid Network'、'Deep HDR Video Reconstruction with Quality Enhancement on Spatio-Temporal Attention Mechanism'等。