RestoreAgent: Autonomous Image Restoration Agent via Multimodal Large Language Models

移动设备拍摄的自然图像通常会受到多种退化的影响，例如噪声、模糊和低光。传统的图像修复方法需要手动选择特定的任务、算法和执行顺序，这是耗时的并且可能产生次优的结果。虽然全能型模型能够处理多个任务，但通常只支持有限的范围，并且由于其广泛的数据分布拟合，往往会产生过于平滑、低保真度的结果。为了解决这些挑战，我们首先定义了一种新的管道来恢复多种退化的图像，然后引入了 RestoreAgent，这是一个利用多模态大语言模型的智能图像修复系统。RestoreAgent 自主评估输入图像中的退化类型和程度，并通过 (1) 确定适当的修复任务，(2) 优化任务序列，(3) 选择最合适的模型，以及 (4) 执行修复来进行修复。实验结果表明，RestoreAgent 在处理复杂的退化方面表现优异，超过了人类专家。此外，系统模块化的设计有助于快速集成新任务和模型，增强了其在各种应用中的灵活性和可扩展性。

论文旨在解决移动设备拍摄的自然图像存在多种退化问题，传统的图像恢复方法需要手动选择特定任务、算法和执行序列，耗时且可能产生次优结果。如何实现智能图像恢复系统？

RestoreAgent是一个智能图像恢复系统，利用多模态大语言模型实现自主评估输入图像的退化类型和程度，并通过确定适当的恢复任务、优化任务序列、选择最适合的模型和执行恢复来进行恢复。

RestoreAgent在处理复杂退化方面表现出优越性，超越了人类专家。此外，该系统的模块化设计有助于快速集成新任务和模型，增强了其灵活性和可扩展性。

最近的相关研究包括：1.《Learning to See in the Dark》；2.《Deep Image Prior》；3.《Unprocessing Images for Learned Raw Denoising》。