A Versatile Framework for Analyzing Galaxy Image Data by Implanting Human-in-the-loop on a Large Vision Model

天文数据集的指数增长为人类提供了前所未有的洞察宇宙的机会。然而，有效地分析这么庞大的数据集是一个巨大的挑战。天文学家正在转向深度学习技术来解决这个问题，但这些方法受其特定的训练集的限制，导致了相当大的重复工作量。因此，我们建立了一个基于大型视觉模型（LVM）和下游任务（DST）的框架，以对星系图像进行通用分析，包括星系形态分类、图像恢复、物体检测、参数提取等。考虑到星系图像的低信噪比和星系类别的不平衡分布，我们将人类参与模块（HITL）纳入我们的大型视觉模型中，通过与人类知识的交互来增强处理星系图像的可靠性和可解释性。所提出的框架展现了显著的少样本学习能力和对DESI遗产成像调查中所有上述星系图像任务的多功能适应性。特别地，对于物体检测，我们的DST在LVM上训练1000个数据点后，准确率达到了96.7%，而ResNet50加上Mask R-CNN的准确率为93.1%；对于形态分类，为了获得AUC ~0.9，LVM加上DST和HITL仅需要ResNet18的1/50的训练集。预计类似地可以集成多模态数据，这为在多信息天文学时代开展跨领域数据集的联合分析开辟了可能性。

解决问题：如何有效地处理天文数据集的分析问题？

关键思路：使用大视野模型（LVM）和下游任务（DST）的框架来进行银河图像的分类、恢复、检测和参数提取等任务，并加入人机交互模块（HITL）来提高可靠性和可解释性。

其他亮点：该框架具有显著的少样本学习能力和多适应性，能够处理多模态数据，实现跨领域的联合分析。实验表明，该框架在物体检测和形态分类任务上的表现优于ResNet50和ResNet18等模型。

相关研究：最近的相关研究包括使用深度学习技术处理天文数据集的方法和应用。例如：DeepSphere、AstroNet、DeepSky等。