MoColl: Agent-Based Specific and General Model Collaboration for Image Captioning

图像字幕生成是计算机视觉和自然语言处理交叉领域中的一个关键任务，在各个领域有着广泛的应用。对于如诊断报告生成等复杂任务，深度学习模型不仅需要特定领域的图像-字幕数据集，还需要结合相关的一般知识以提供上下文准确性。现有的方法存在固有的局限性：专用模型在捕捉领域特定细节方面表现出色，但在泛化能力上有所欠缺；而基于大型语言模型（LLM）的视觉-语言模型（VLM）虽然能够利用一般知识，但在领域特定适应性方面却面临挑战。为了解决这些局限性，本文提出了一种新颖的代理增强模型协作框架，我们称之为**MoColl**，旨在有效整合领域特定知识和一般知识。具体来说，我们的方法是将复杂的图像字幕生成任务分解为一系列相互关联的问答子任务。一个可训练的视觉问答（VQA）模型作为专用工具，专注于领域特定的视觉分析，根据图像内容回答任务特定的问题。与此同时，一个具有一般知识的基于LLM的代理负责提出这些问题，并将产生的问答对整合成连贯的字幕。除了利用VQA模型的作用外，该代理还进一步指导其训练，以增强其领域特定的能力。实验结果验证了所提出的框架在放射学报告生成中的有效性，表明生成报告的质量有了显著提高。

该论文旨在解决复杂图像字幕生成任务中的两个主要问题：1) 现有的领域专用模型虽然能捕捉到特定领域的细节，但缺乏泛化能力；2) 基于大型语言模型（LLMs）的视觉-语言模型（VLMs）虽然可以利用一般知识，但在特定领域的适应性上表现不佳。这些问题在需要高度专业化的任务如医学诊断报告生成中尤为突出。

论文提出了一种新颖的代理增强模型协作框架——MoColl，将复杂的图像字幕生成任务分解为一系列相互关联的问题-回答子任务。通过结合一个可训练的视觉问答（VQA）模型和一个基于LLM的代理，前者专注于领域特定的视觉分析，后者则负责提问并综合答案生成连贯的字幕。此外，代理还指导VQA模型的训练以提高其领域特定的能力。这种设计融合了领域特定知识和通用知识，解决了现有方法的局限性。

实验结果表明，MoColl框架在放射学报告生成方面显著提升了报告质量。研究使用了特定的医学影像数据集进行验证，并且强调了模型在实际应用中的潜力。尽管文中未明确提及，但开源代码和进一步的研究对于推动该领域的进展至关重要。未来的工作可能集中在扩展到其他医疗领域或探索更广泛的视觉任务。

近年来，在图像字幕生成领域有许多相关研究。例如，《Show, Attend and Tell: Neural Image Caption Generation with Visual Attention》引入了注意力机制来改善图像字幕的质量。《Unifying Vision-and-Language Representations for Pre-training》探讨了如何预训练统一的视觉-语言表示。此外，《Learning to Describe Images with Fewer Supervisions》提出了减少监督需求的方法。这些研究共同推动了视觉-语言理解的进步，而MoColl则特别针对领域特定任务进行了创新。