CapeLLM: Support-Free Category-Agnostic Pose Estimation with Multimodal Large Language Models

类别无关的姿态估计（CAPE）传统上依赖于带有标注关键点的支持图像，这一过程通常繁琐，并且可能无法完全捕捉到不同物体类别之间的必要对应关系。近期的研究开始探索使用基于文本的查询，消除了对支持关键点的需求。然而，如何最优地利用文本描述关键点仍然是一个未充分研究的领域。在本工作中，我们引入了CapeLLM，这是一种新颖的方法，利用基于文本的多模态大语言模型（MLLM）进行CAPE。我们的方法仅使用查询图像和详细的文本描述作为输入来估计类别无关的关键点。我们进行了广泛的实验，系统地探讨了基于大语言模型（LLM）的CAPE的设计空间，研究了选择关键点的最佳描述、神经网络架构和训练策略等因素。得益于预训练的MLLM的强大推理能力，CapeLLM展示了卓越的泛化能力和稳健性能。我们的方法在具有挑战性的1-shot设置下，在MP-100基准测试中达到了新的最先进水平，标志着类别无关姿态估计领域的重要进展。

该论文旨在解决传统类别无关姿态估计(CAPE)对支持图像及其注释关键点的依赖问题，这种依赖不仅繁琐且可能无法充分捕捉跨不同物体类别的对应关系。此外，尽管最近的研究开始探索基于文本查询的方法来消除对支持关键点的需求，但如何最优地利用文本描述关键点仍然是一个未充分探索的领域。

论文提出了一种名为CapeLLM的新方法，该方法利用预训练的多模态大语言模型(MLLM)，仅通过查询图像和详细的文本描述来估计类别无关的关键点。这种方法不仅消除了对标注数据的依赖，还通过MLLM的高级推理能力提高了模型的泛化能力和鲁棒性。

1. 系统地探索了LLM在CAPE中的应用设计空间，包括选择最佳的关键点描述、神经网络架构和训练策略。 2. 在MP-100基准测试的1-shot设置下取得了新的最先进性能，显著推进了CAPE领域的发展。 3. 实验设计全面，涵盖了多种因素的影响分析，确保了结果的可靠性和可重复性。 4. 论文没有提到是否开源代码，但提供了详细的实验设置和参数配置，为后续研究提供了基础。

1. "Category-Agnostic Keypoint Detection via Language Models" - 探索了语言模型在关键点检测中的应用。 2. "Text-to-Keypoint: Leveraging Text Descriptions for Keypoint Detection" - 利用文本描述进行关键点检测的研究。 3. "Zero-Shot Keypoint Detection with Multimodal Transformers" - 使用多模态变压器进行零样本关键点检测的工作。 4. "Learning to Detect Keypoints from Natural Language Descriptions" - 从自然语言描述中学习关键点检测的方法。