Beyond Image Super-Resolution for Image Recognition with Task-Driven Perceptual Loss

在现实世界的场景中，图像识别任务（例如语义分割和物体检测）经常因低分辨率（LR）内容中缺乏信息而面临更大的挑战。图像超分辨率（SR）是解决这些挑战的有希望的解决方案之一。然而，由于SR的不适定性质，典型的SR方法很难恢复与任务相关的高频内容，这可能会削弱利用SR方法的优势。因此，在本文中，我们提出了一种名为Super-Resolution for Image Recognition（SR4IR）的方法，该方法可以有效地引导生成有益于处理LR图像时实现令人满意的图像识别性能的SR图像。我们SR4IR的关键组件是任务驱动感知（TDP）损失，它使SR网络能够从专为特定任务定制的网络中获取任务特定知识。此外，我们提出了交叉质量补丁混合和交替训练框架，通过解决使用TDP损失时可能出现的潜在问题，显著增强了TDP损失的功效。通过广泛的实验，我们证明了我们的SR4IR通过生成对特定图像识别任务有用的SR图像，包括语义分割、物体检测和图像分类，实现了优秀的任务性能。实现代码可在https://github.com/JaehaKim97/SR4IR上获得。

解决问题：论文试图通过超分辨率技术解决低分辨率图像对于图像识别任务的挑战性，提高图像识别的性能表现。

关键思路：论文提出了一种基于任务驱动感知损失的超分辨率方法，能够有效地生成对于特定图像识别任务有益的高分辨率图像，以提高图像识别的性能表现。

其他亮点：论文提出了交叉质量补丁混合和交替训练框架来增强任务驱动感知损失的效力，实验结果表明该方法在语义分割、目标检测和图像分类等任务中均取得了优异的性能表现，代码已开源。

相关研究：最近的相关研究包括《Deep Residual Learning for Image Recognition》、《Image Super-Resolution Using Deep Convolutional Networks》、《Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network》等。