我们提出了一种轻量级且准确的架构，用于资源高效的视觉对应。我们的方法被称为XFeat（加速特征），重新审视了卷积神经网络在检测、提取和匹配局部特征方面的基本设计选择。我们的新模型满足了快速和稳健的算法在资源有限的设备上使用的关键需求。特别是，准确的图像匹配需要足够大的图像分辨率，因此我们在保持分辨率尽可能大的同时限制了网络中的通道数。此外，我们的模型旨在提供在稀疏或半密级别上进行匹配的选择，每个级别都可能更适合不同的下游应用，例如视觉导航和增强现实。我们的模型是第一个高效地提供半密匹配的模型，利用了一种基于粗略局部描述符的新型匹配细化模块。XFeat是通用且与硬件无关的，速度比当前基于深度学习的局部特征快（最多快5倍），并具有相当或更好的准确性，在姿态估计和视觉定位方面得到了证明。我们展示了它在廉价的笔记本电脑CPU上实时运行，无需专门的硬件优化。代码和权重可在www.verlab.dcc.ufmg.br/descriptors/xfeat_cvpr24上获得。

我们提出了一种新颖的方法，名为OmniControl，它可以将灵活的空间控制信号纳入基于扩散过程的文本条件人体运动生成模型中。与之前只能控制骨盆轨迹的方法不同，OmniControl可以在一个模型中在不同时间的不同关节上纳入灵活的空间控制信号。具体来说，我们提出了分析空间引导，以确保生成的运动能够紧密地符合输入的控制信号。同时，引入了真实性引导，以调整所有关节，生成更加连贯的运动。空间引导和真实性引导都是必不可少的，它们高度互补，平衡了控制精度和运动真实性。通过结合它们，OmniControl生成的运动既真实又连贯，并符合空间约束。在HumanML3D和KIT-ML数据集上的实验表明，OmniControl不仅在骨盆控制方面取得了显著的改进，而且在纳入其他关节的约束时也显示出良好的效果。

现有的VLM可以跟踪野外2D视频对象，而当前的生成模型为合成高度不受限制的2D到3D对象提供了强大的视觉先验。在这一令人兴奋的进展基础上，我们提出了DreamScene4D，这是第一个可以从单目野外视频生成多个对象的三维动态场景的方法，这些对象在遮挡和新视角下具有大的物体运动。我们的关键洞察是设计了一种“分解-重组”方案，以分解整个视频场景和每个对象的3D运动。我们首先通过使用开放词汇掩模跟踪器和适应的图像扩散模型来分割、跟踪和完成视频中的对象和背景，从而分解视频场景。每个对象轨迹被映射到一组3D高斯函数，在空间和时间上变形和移动。我们还将观察到的运动分解为多个组件以处理快速运动。可以通过重新渲染背景以匹配视频帧来推断相机运动。对于对象运动，我们首先利用对象中心帧的渲染损失和多视角生成先验来建模对象的中心变形，然后通过将渲染输出与感知像素和光流进行比较来优化对象中心到世界坐标系的变换。最后，我们重组背景和对象，并使用单目深度预测指导优化相对对象比例。我们展示了在具有挑战性的DAVIS、Kubric和自拍视频上的广泛结果，详细说明了一些限制，并提供未来的方向。除了4D场景生成，我们的结果表明，DreamScene4D通过将推断的3D轨迹投影到2D上，实现了精确的2D点运动跟踪，而从未明确训练过这样做。

序列建模是各个领域中至关重要的一个领域，包括自然语言处理（NLP）、语音识别、时间序列预测、音乐生成和生物信息学等。循环神经网络（RNN）和长短期记忆网络（LSTM）在机器翻译、命名实体识别（NER）等序列建模任务中一直处于主导地位。然而，transformers的出现导致了这种范式的转变，因为它们具有更好的性能。然而，transformers存在$O(N^2)$的注意力复杂度和处理归纳偏差的挑战。已经提出了几种变体来解决这些问题，它们使用谱网络或卷积，在各种任务上表现良好。然而，它们仍然难以处理长序列。状态空间模型（SSM）已经成为这种情况下序列建模范式的有希望的替代方法，特别是随着S4及其变体（如S4nd、Hippo、Hyena、Diagnol State Spaces（DSS）、Gated State Spaces（GSS）、Linear Recurrent Unit（LRU）、Liquid-S4、Mamba等）的出现。在本调查中，我们根据三种范例，即门控架构、结构架构和循环架构，对基础SSM进行分类。本调查还强调了SSM在各个领域的多样化应用，包括视觉、视频、音频、语音、语言（特别是长序列建模）、医学（包括基因组学）、化学（如药物设计）、推荐系统和时间序列分析，包括表格数据。此外，我们还总结了SSM在基准数据集（如Long Range Arena（LRA）、WikiText、Glue、Pile、ImageNet、Kinetics-400、sstv2以及视频数据集，如Breakfast、COIN、LVU和各种时间序列数据集）上的性能。Mamba-360工作的项目页面可在此网页上找到：\url{https://github.com/badripatro/mamba360}。

许多机器人操作任务可以被视为几何推理任务，代理人必须能够精确地将一个物体操作到满足任务的位置，从一组初始条件开始。通常，任务成功是基于两个物体之间的关系定义的，例如将杯子挂在架子上。在这种情况下，解决方案应该对物体的初始位置以及代理人具有等变性，并且对相机的姿态具有不变性。这对于试图通过直接从高维演示中学习来解决此任务的学习系统构成了挑战：代理人必须学会既具有等变性又具有精度，这在没有关于问题的归纳偏差的情况下可能是具有挑战性的。在这项工作中，我们提出了一种精确的相对姿态预测方法，该方法可以被证明是SE(3)等变的，可以仅从少量演示中学习，并且可以跨越一类物体的变化进行泛化。我们通过将问题分解为学习场景的SE(3)不变的任务特定表示，然后使用新的几何推理层来解释这个表示，这些层可以被证明是SE(3)等变的，来实现这一点。我们证明，我们的方法可以在模拟放置任务中产生比以前使用相同数量数据训练的方法更精确的放置预测，并且可以准确地表示从真实世界演示中收集的相对放置关系数据。补充信息和视频可以在https://sites.google.com/view/reldist-iclr-2023找到。

最近出现了一些视觉基础模型（VFMs），它们成为了许多下游任务的支柱。像CLIP、DINOv2、SAM这样的VFM是通过不同的目标训练的，展现了不同的特点，适用于各种下游任务。我们发现，尽管它们在概念上存在差异，但这些模型可以通过多教师蒸馏有效地融合成一个统一的模型。我们将这种方法命名为AM-RADIO（聚合模型 - 将所有领域缩减为一个）。这种综合方法不仅超越了单个教师模型的性能，还融合了它们的独特特征，例如零-shot视觉语言理解、详细的像素级理解和开放词汇分割能力。为了追求最高效的硬件支撑，我们使用相同的训练配方在多教师蒸馏管道中评估了许多架构。这导致了一种新颖的架构（E-RADIO）的开发，它超越了其前身的性能，并且至少比教师模型快7倍。我们的全面基准测试过程涵盖了ImageNet分类、ADE20k语义分割、COCO目标检测和LLaVa-1.5框架。 代码：https://github.com/NVlabs/RADIO

确定地球上任何图像的位置是一个复杂的视觉任务，这使得评估计算机视觉算法特别相关。然而，缺乏标准的、大规模的、可靠的可定位图像的开放数据集限制了其潜力。为了解决这个问题，我们介绍了OpenStreetView-5M，这是一个大规模的、开放的数据集，包括超过510万个地理参考的街景图像，涵盖了225个国家和地区。与现有的基准数据集不同，我们强制执行严格的训练/测试分离，使我们能够评估学习到的地理特征的相关性，而不仅仅是记忆。为了展示我们数据集的实用性，我们进行了各种最先进的图像编码器、空间表示和训练策略的广泛基准测试。所有相关的代码和模型都可以在https://github.com/gastruc/osv5m找到。

AI Foundation的模型在各种应用中都越来越受到关注，包括放射学等医疗领域。然而，医学基础模型通常只在有限的任务上进行测试，其泛化能力和偏见未被探索。我们提出了RayDINO，这是一个基于自监督训练的大型视觉编码器，使用873k个胸部X光进行训练。我们将RayDINO与先前的最先进模型进行了比较，涵盖了九个放射学任务，包括分类、密集分割和文本生成，并对我们的模型的人口、年龄和性别偏见进行了深入分析。我们的发现表明，自监督使得以患者为中心的AI在临床工作流程中变得有用，并全面解释X光。通过RayDINO和小型任务特定适配器，我们实现了最先进的结果，并提高了对未见过人群的泛化能力，同时减轻了偏见，展示了基础模型的真正优势：多功能性和鲁棒性。

在各种医疗应用中取得卓越表现对于人工智能来说是一个相当大的挑战，需要先进的推理能力、及时的医学知识和对复杂多模态数据的理解。拥有多模态和长上下文推理方面强大通用能力的Gemini模型在医学领域具有激动人心的潜力。基于这些Gemini的核心优势，我们推出了Med-Gemini，这是一系列高度专业化的多模态模型，具有无缝使用网络搜索的能力，并且可以通过自定义编码器高效地适应新的模态。我们在14个医学基准测试中评估了Med-Gemini，在其中10个基准测试中取得了新的最优表现，并且在每个可以进行直接比较的基准测试中超越了GPT-4模型系列，常常领先很多。在流行的MedQA (USMLE) 基准测试中，我们表现最佳的Med-Gemini模型通过一种新颖的不确定性引导搜索策略实现了91.1%的最优表现。在7个多模态基准测试中，包括NEJM图像挑战和MMMU（健康和医学），Med-Gemini相对于GPT-4V平均提高了44.5%。我们通过从长时间的去识别的健康记录中进行针对性检索任务和医学视频问答的最佳表现，展示了Med-Gemini长上下文能力的有效性，超越了仅使用上下文学习的先前专门方法。最后，Med-Gemini的表现表明了它在医学文本摘要等任务上超越了人类专家，并展示了在多模态医学对话、医学研究和教育方面的有前途的潜力。综合来看，我们的结果为Med-Gemini的潜力提供了令人信服的证据，但在这个安全关键的领域进行实际部署之前，进一步的严格评估至关重要。

大型视觉语言模型（VLMs），如CLIP，能够以零样本的方式从图像中分割任意概念，实现开放集图像分割。这超越了传统的封闭集假设，即模型只能从预定义的训练集中分割类别。最近，文献中出现了关于在3D场景中进行开放集分割的首个研究。这些方法受到处理点云或多边形网格的封闭集3D卷积方法的影响。然而，这些3D场景表示与视觉语言模型的基于图像的性质不太匹配。事实上，点云和3D网格通常比图像具有更低的分辨率，重建的3D场景几何可能无法很好地投影到用于计算像素对齐CLIP特征的底层2D图像序列上。为了解决这些挑战，我们提出了OpenNeRF，它自然地在姿态图像上运行，并直接在NeRF中编码VLM特征。这与LERF的精神类似，但我们的工作表明，使用像素级的VLM特征（而不是全局CLIP特征）会导致整体架构更简单，无需额外的DINO正则化。我们的OpenNeRF进一步利用了NeRF渲染新视图和从初始姿态图像中未被观察到的区域提取开放集VLM特征的能力。在Replica数据集上进行3D点云分割，OpenNeRF的表现优于最近的开放词汇方法，如LERF和OpenScene，至少高出4.9个mIoU。