Tackling Structural Hallucination in Image Translation with Local Diffusion

最近扩散模型的发展推进了有条件图像生成，但是它们在重构分布外（OOD）的图像方面存在困难，比如在医学图像中看不见的肿瘤，导致“图像幻觉”并可能导致误诊。我们假设这样的幻觉是由有条件图像中的局部OOD区域造成的。我们验证了将OOD区域进行分区并进行分别图像生成可以减轻几个应用中的幻觉。因此，我们提出了一个无需训练的扩散框架，通过多个局部扩散过程减少幻觉。我们的方法涉及OOD估计，然后是两个模块：一个“分支”模块在OOD区域内外局部生成，另一个“融合”模块将这些预测集成为一个。我们的评估显示，我们的方法在真实世界的医学和自然图像数据集中，定量和定性地减轻了基线模型的幻觉，分别将误诊降低了40％和25％。它还证明了与各种预训练扩散模型的兼容性。

本论文旨在解决条件图像生成模型在生成未知区域图像时出现的图像幻觉问题，以及由此可能导致的误诊风险。

本论文提出了一种基于多个局部扩散过程的无需训练的扩散框架，通过分区域生成图像来减轻图像幻觉问题。

本论文的实验结果表明，相比基线模型，该方法在医学和自然图像数据集上分别将误诊率降低了40％和25％，并且还展示了与各种预训练扩散模型的兼容性。

最近在这个领域的相关研究包括：《Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild》、《Generative Modeling of Human Behavior and Its Extensions》等。