Annolid: Annotate, Segment, and Track Anything You Need

Annolid是一个基于深度学习的软件包，旨在对视频文件中的研究目标进行分割、标注和跟踪，主要关注动物行为分析。基于最先进的实例分割方法，Annolid现在利用Cutie视频对象分割模型，实现了从单个注释帧中弹性、无标记地跟踪多个动物，即使在它们可能被环境特征或彼此部分或完全遮挡的情况下。我们还整合了Segment Anything和Grounding-DINO策略，通过文本命令自动掩蔽和分割可识别的动物和物体，消除了手动注释的需要。Annolid对对象分割的全面方法灵活适应了广泛的行为分析应用，除了跟踪动物和它们的身体部位外，还能够对各种行为状态进行分类，如冻结、挖掘、幼崽聚集和社交互动。

Annolid试图解决基于视频文件的动物行为分析中的目标分割、标记和跟踪问题，尤其是在动物被环境特征或彼此完全或部分遮挡的情况下。

Annolid采用最先进的实例分割方法，结合Cutie视频对象分割模型和Segment Anything和Grounding-DINO策略，实现了对单帧图像中多个动物的鲁棒、无标记跟踪和自动分割，同时还能对不同的行为状态进行分类。

论文使用了深度学习技术，提供了一个全面的目标分割方案，不需要手动注释，能够自动分割和跟踪动物和物体，同时能够分类不同的行为状态。论文还提供了开源代码和使用的数据集。

在这个领域中，最近的相关研究包括DeepLabCut和Mask R-CNN等模型。