Beyond Human Vision: The Role of Large Vision Language Models in Microscope Image Analysis

视觉语言模型（VLMs）近来备受关注，因为它们可以理解图像和文本数据的双重模态。LLaVA、ChatGPT-4和Gemini等VLMs最近在自然图像字幕、视觉问答（VQA）和空间推理等任务中表现出令人印象深刻的性能。此外，Meta AI的通用分割模型Segment Anything Model（SAM）在从未见过的图像中隔离对象方面表现出前所未有的性能。由于医学专家、生物学家和材料科学家经常结合标题、文献或报告中的文本信息检查显微镜或医学图像，并得出重要的结论，因此无疑需要测试VLMs和SAM等基础模型在这些图像上的性能。在本研究中，我们让ChatGPT、LLaVA、Gemini和SAM对各种显微镜图像执行分类、分割、计数和VQA任务。我们观察到，ChatGPT和Gemini能够令人印象深刻地理解显微镜图像中的视觉特征，而SAM在一般意义上隔离人工制品的能力相当强。然而，这些模型的性能并不接近领域专家的水平，它们在图像中存在的杂质、缺陷、人工制品重叠和多样性的引入下很容易受到影响。

本论文旨在测试最近出现的视觉语言模型和基础模型在医学和生物学领域的表现，特别是在显微镜图像的分类、分割、计数和VQA任务上。同时，论文也试图探究这些模型在面对图像中存在的杂质、缺陷、伪影重叠和多样性时的表现。

论文采用了ChatGPT、LLaVA、Gemini和SAM等模型，测试它们在医学和生物学领域的表现。其中，ChatGPT和Gemini在显微镜图像中表现出色，而SAM则在一般情况下隔离物体方面表现出色。但是，这些模型的表现仍然无法与领域专家相媲美。

论文使用了多个显微镜图像数据集，对模型的分类、分割、计数和VQA任务进行了测试。实验结果表明，这些模型在处理显微镜图像时表现出色，但是在面对图像中存在的杂质、缺陷、伪影重叠和多样性时表现不佳。SAM模型在隔离物体方面表现出色，但是仍然存在一定的局限性。论文指出，未来的研究可以探究如何进一步提高这些模型在处理复杂显微镜图像时的表现。

最近的相关研究包括：1.《Attention is All you Need》；2.《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》；3.《Vision-Language Pre-training with Contrastive Cross-Modal Tasks》等。