Tokensome: Towards a Genetic Vision-Language GPT for Explainable and Cognitive Karyotyping

自动染色体核型分析通常被定义为一项仅关注染色体对象级建模的视觉感知任务。这个定义导致大多数现有方法忽视了组成和整体信息，显著限制了模型的性能。此外，当前技术缺乏可解释性，阻碍了其在临床中的应用。在本文中，我们介绍了Tokensome，一种基于染色体标记化的视觉语言模型，用于可解释和认知核型分析。Tokensome将该方法从传统的视觉感知层提升到认知决策层。这种提升使得领域知识和认知推理可以通过知识图谱和LLMs进行整合，显著提高了模型的可解释性，并促进了异常检测。

该论文旨在解决自动核型分析中存在的缺乏组成和整体信息以及不可解释性的问题，以及这些问题对模型性能和临床应用的影响。

Tokensome是一种基于染色体标记化的视觉语言模型，旨在提高自动核型分析的可解释性和认知决策能力。该模型通过知识图谱和LLMs集成领域知识和认知推理，从而将方法从传统的视觉感知层提升到认知决策层。

论文的亮点包括使用Tokensome模型提高自动核型分析的可解释性和认知决策能力，以及通过知识图谱和LLMs集成领域知识和认知推理。实验使用了多个数据集并展示了Tokensome模型的优越性能。论文提出的思路对于自动核型分析领域具有重要的启示意义。

近年来，在自动核型分析领域中还有一些相关研究，例如“Automated Karyotyping using Convolutional Neural Networks”，“Deep Learning for Chromosome Segmentation and Karyotyping of Human Blastomeres”，“A Deep Learning Approach to Automatic Karyotyping of Human Chromosomes”等。