来自今天的爱可可AI前沿推介

[CV] Neural Image Compression with a Diffusion-Based Decoder

N F Goose, J Petersen, A Wiggers, T Xu, G Sautière
[Qualcomm AI Research & London School of Economics]

使用基于扩散解码器的神经图像压缩

要点:

  1. 提出一种新的神经图像压缩方法，称为基于扩散的残差增强编解码器(DIRAC)，用可变比特率基模型来传输与原始输入高保真度的初始重建，然后使用扩散概率模型来提高其感知质量；
  2. 在测试时对速率-失真-感知权衡实现细微控制，允许用户选择以高保真度或高知觉质量解码图像；
  3. 与基于 GAN 的方法相比，在失真和知觉质量方面具有竞争性性能表现；
  4. 压缩设置下所需的采样步数减少，使得基于扩散的编解码器是高知觉质量数据压缩的有前途的方法。

一句话总结:
本文介绍了基于扩散的残余增强编解码器(DIRAC)，一种神经图像压缩方法，使用可变比特率基模型和扩散概率模型来提高感知质量，允许在测试时对速率-失真-感知权衡进行精细控制，与基于GAN的方法相比实现了竞争性能，还可以通过更少的采样步骤来实现压缩。

摘要：
扩散概率模型最近在生成高质量图像和视频数据方面取得了显著成功。本文基于这类生成模型，提出一种高分辨率图像的有损压缩方法。由此产生的编解码器，即基于扩散的残差增强编解码器(DIRAC)，第一个允许在测试时有效控制速率-失真-感知权衡的神经编解码器，同时在感知质量方面与基于GAN的方法相比获得竞争性性能。虽然从扩散概率模型中抽样非常昂贵，但在压缩设置下，步数可以大幅减少。

Diffusion probabilistic models have recently achieved remarkable success in generating high quality image and video data. In this work, we build on this class of generative models and introduce a method for lossy compression of high resolution images. The resulting codec, which we call DIffuson-based Residual Augmentation Codec (DIRAC),is the first neural codec to allow smooth traversal of the rate-distortion-perception tradeoff at test time, while obtaining competitive performance with GAN-based methods in perceptual quality. Furthermore, while sampling from diffusion probabilistic models is notoriously expensive, we show that in the compression setting the number of steps can be drastically reduced.

论文链接：https://arxiv.org/abs/2301.05489
图片
图片
图片
图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除