- 简介大型语言模型（LLMs）的成功促进了多模式大型语言模型（MLLMs）的新研究趋势，这改变了计算机视觉领域的各种范式。虽然MLLMs在许多高级视觉和视觉语言任务中表现出了很好的结果，例如VQA和文本到图像，但没有任何工作展示了低级视觉任务如何从MLLMs中受益。我们发现，由于它们视觉模块的设计，大多数当前的MLLMs对低级特征视而不见，因此本质上无法解决低级视觉任务。在这项工作中，我们提出了一个名为$\textbf{LM4LV}$的框架，它使冻结的LLM能够解决一系列低级视觉任务，而无需任何多模态数据或先验知识。这展示了LLM在低级视觉方面的强大潜力，并弥合了MLLMs和低级视觉任务之间的差距。我们希望这项工作能启发人们对LLMs的新视角和更深入的理解。
-
- 图表
- 解决问题本文旨在展示多模态大语言模型（MLLM）在低级视觉任务中的潜力，探索LLM在低级视觉任务中的应用。当前的MLLM大多数都无法识别低级特征，因此不能解决低级视觉任务。作者提出了LM4LV框架，使得冻结的LLM能够解决一系列低级视觉任务。
- 关键思路文章提出了LM4LV框架，使得LLM能够解决一系列低级视觉任务。该框架不需要任何多模态数据或先验知识，通过设计视觉模块来实现解决低级视觉任务。
- 其它亮点实验结果表明，LM4LV框架下的LLM能够成功解决多种低级视觉任务，如图像超分辨率、去噪等。该方法的优点是不需要使用多模态数据或先验知识，仅利用LLM的文本生成能力即可解决低级视觉问题。此外，该方法还可以在不同的LLM上进行扩展和优化。
- 当前的研究趋势是多模态大语言模型（MLLM），该领域的研究主要集中在高级视觉和视觉语言任务上，如VQA和文本到图像。而本文则是探索LLM在低级视觉任务中的应用。
提问交流