Feature4X: Bridging Any Monocular Video to 4D Agentic AI with Versatile Gaussian Feature Fields

近期，二维和多模态模型通过利用大规模数据集训练取得了显著的成功。然而，将这些成果扩展到支持自由形式的交互以及对复杂三维/四维场景进行高层次语义操作仍然充满挑战。这一困难主要源于大规模、标注好的三维/四维或多视角数据集的稀缺性，而这些数据集对于实现通用的视觉与语言任务（如开放词汇分割、基于提示的分割、语言引导编辑和视觉问答（VQA））至关重要。在本文中，我们提出了 Feature4X，这是一个通用框架，旨在仅通过单目视频输入（这种数据在用户生成内容中广泛存在），将任何二维视觉基础模型的功能扩展到四维领域。Feature4X 中的 "X" 代表其多功能性，能够通过可适应的、基于模型条件的四维特征场蒸馏技术实现任意任务。我们的框架核心是一种动态优化策略，可以将多种模型能力统一为单一表示形式。此外，据我们所知，Feature4X 是首个方法，能够通过高斯点云技术将视频基础模型（例如 SAM2、InternVideo2）的特征提取并提升到显式的四维特征场中。我们的实验展示了新颖的任意视图分割、几何与外观场景编辑，以及跨所有时间步的自由形式视觉问答（由大语言模型通过反馈循环驱动）。这些进展拓宽了代理型人工智能应用的范围，为构建可扩展、上下文感知且时空敏感的系统奠定了基础，从而实现沉浸式的动态四维场景交互。

论文试图解决将2D视觉基础模型的功能扩展到4D动态场景中的问题，特别是在缺乏大规模标注3D/4D数据的情况下，实现自由交互和高级语义操作（如开放词汇分割、语言引导编辑和视觉问答）。这是一个具有挑战性的问题，因为现有的多模态模型主要集中在2D图像或单帧视频处理上。

论文提出了一种名为Feature4X的通用框架，通过仅使用单目视频输入，将2D视觉基础模型的功能扩展到4D领域。其核心思想是利用高斯点阵（Gaussian Splatting）技术显式地提取和提升视频基础模型的特征，并通过动态优化策略将多种模型能力统一到单一表示中。相比现有方法，Feature4X首次实现了从2D到4D特征场的蒸馏与提升，从而支持跨时间步的复杂任务。

1. Feature4X框架支持多种新颖应用，例如新型视角分割、几何与外观场景编辑以及基于大语言模型反馈循环的自由形式视觉问答。 2. 实验设计涵盖了多个方面，包括开放词汇分割、语言引导编辑和VQA等任务。 3. 论文未明确提及使用的具体数据集，但提到利用广泛可用的用户生成内容作为输入。 4. 代码是否开源尚未明确，但论文提出的工作为未来研究提供了方向，尤其是在动态4D场景交互和沉浸式AI系统开发领域。 5. 值得进一步研究的方向包括改进动态优化策略、探索更高效的特征蒸馏方法以及在更大规模的真实世界数据上验证性能。

最近的相关研究包括： 1. SAM（Segment Anything Model）及其视频扩展版本InternVideo，这些模型专注于2D图像和视频的分割任务。 2. Gaussian Splatting相关工作，例如“Instant Neural Graphics Primitives with a Multiresolution Hash Encoding”，该研究提出了高效表示3D场景的方法。 3. 视觉-语言模型结合的研究，如“LAVIS: A Unified Framework for Language-Vision Intelligence”。 4. 动态场景理解方面的研究，例如“NeRF in the Wild”系列工作，探索了神经辐射场在真实世界动态场景中的应用。