InfiMM-HD: A Leap Forward in High-Resolution Multimodal Understanding

多模态大语言模型（MLLMs）近来经历了重大进展。然而，在高分辨率图像中准确识别和理解复杂细节仍然存在挑战。尽管这是开发强大的MLLMs所必需的，但这个领域仍未得到充分的研究。为了解决这个挑战，我们的工作引入了InfiMM-HD，这是一种专门设计用于处理不同分辨率图像的新型架构，具有低计算开销。这种创新有助于将MLLMs扩展到更高分辨率能力。InfiMM-HD结合了交叉注意模块和视觉窗口来减少计算成本。通过将这种架构设计与四阶段训练流程相结合，我们的模型可以高效、经济地实现改进的视觉感知。实证研究强调了InfiMM-HD的稳健性和有效性，为相关领域的探索开辟了新的途径。代码和模型可在https://huggingface.co/Infi-MM/infimm-hd找到。

论文旨在解决MLLMs在高分辨率图像中识别和理解复杂细节方面存在的挑战，以及扩展MLLMs到更高分辨率能力的问题。

论文提出了一种专门设计用于处理不同分辨率图像的新型架构InfiMM-HD，并将其与四阶段训练流程相结合，以高效且低计算成本地实现了改进的视觉感知。

论文的亮点包括使用InfiMM-HD架构来有效处理高分辨率图像、采用交叉注意力模块和视觉窗口来降低计算成本、通过四阶段训练流程实现了高效的视觉感知，论文中还提供了代码和模型。

近期的相关研究包括使用Transformer架构进行图像识别的ViT和DeiT模型，以及使用图像增强技术提高图像识别准确性的研究。