随着数据集大小和计算资源在近年来的巨大增长，所谓的基础模型已经在自然语言处理和视觉任务中变得流行起来。在这项工作中，我们提出探索基础模型用于在3D形状上进行关键点检测的任务。关键点检测的一个独特特征是，它需要语义和几何意识，同时要求高定位精度。为了解决这个问题，我们首先提出将来自大型预训练2D视觉模型的特征反投影到3D形状上，并将其用于此任务。我们展示了我们获得的强健的3D特征包含丰富的语义信息，并分析了来自不同2D基础模型的多个候选特征。其次，我们采用关键点候选优化模块，旨在匹配形状上关键点的平均观察分布，并由反投影特征引导。由此得出的方法在KeyPointNet数据集上实现了新的最先进的有限样本关键点检测，几乎将先前最佳方法的性能翻倍。

我们提出了VQ-NeRF，这是一个双分支神经网络模型，它结合了向量量化（VQ）来分解和编辑三维场景中的反射场。传统的神经反射场仅使用连续表示来建模三维场景，尽管现实中的物体通常由离散材料组成。这种缺乏离散化可能导致材料分解有噪声和材料编辑复杂。为了解决这些限制，我们的模型由一个连续分支和一个离散分支组成。连续分支遵循传统流程以预测分解的材料，而离散分支使用VQ机制将连续材料量化为单个材料。通过离散化材料，我们的模型可以减少分解过程中的噪声，并生成离散材料的分割图。可以通过单击分割结果的相应区域轻松选择特定材料进行进一步编辑。此外，我们提出了一种基于丢失的VQ码字排名策略来预测场景中的材料数量，从而减少材料分割过程中的冗余。为了提高可用性，我们还开发了一个交互式界面来进一步辅助材料编辑。我们在计算机生成的和真实世界的场景上评估了我们的模型，展示了其优越的性能。据我们所知，我们的模型是第一个能够在三维场景中实现离散材料编辑的模型。

在数字媒体和视频制作不断发展的背景下，精确操纵和再现摄像机运动和角色动作等视觉元素变得非常重要。现有的SLAM方法在动态场景下存在局限性，人体姿态估计通常关注2D投影，忽略了3D状态。为了解决这些问题，我们首先介绍了一种反向拍摄行为估计技术。它通过利用NeRF作为可微分渲染器和优化SMPL轨迹来优化摄像机轨迹。然后，我们介绍了一种电影转移管道，能够将各种镜头类型转移到新的2D视频或3D虚拟环境中。3D引擎工作流的整合使得能够实现更高质量的渲染和控制能力，也在用户研究中取得了更高的评分。

本文提出了一种全自动的、以文本为引导的生成方法，用于生成周期性、重复、可平铺的二维艺术作品，例如地板、马赛克、陶瓷和M.C. Escher的作品。与标准的无缝纹理概念（即平铺时无缝的正方形图像）相比，我们的方法生成的是仅由相同对象的重复副本组成的非正方形平铺。为了生成形状和外观符合期望对象的非正方形平铺，几何和颜色都需要进行优化，同时尽量减少背景细节。我们通过一个非约束的、可微分的参数化方法来实现平铺的几何优化，这是我们的关键技术贡献。具体来说，我们证明了修改2D网格映射技术Orbifold Tutte Embedding中使用的拉普拉斯算子可以实现所选平面对称群的所有可能平铺配置。因此，我们将网格的平铺形状和纹理都视为可优化的参数，并通过可微分渲染器呈现纹理网格。我们利用训练好的图像扩散模型定义了一个损失函数，以此更新网格的参数，使其外观与文本提示相匹配。我们展示了我们的方法能够为各种不同的周期性平铺图案生成合理、吸引人的结果，其中包括非平凡的平铺。

针对概念驱动的个性化生成，微调生成模型的方法通常可以实现主题驱动或风格驱动的强大效果。最近，提出了低秩适应（LoRA）作为实现概念驱动个性化的一种参数有效的方法。虽然最近的研究探讨了将单独的LoRA组合起来实现学习风格和主题的联合生成，但现有技术并不能可靠地解决这个问题。它们经常会牺牲主题保真度或风格保真度。我们提出了ZipLoRA，一种便宜而有效的方法，用于合并独立训练的风格和主题LoRA，以实现在任何用户提供的风格中生成任何用户提供的主题。对各种主题和风格组合的实验表明，ZipLoRA可以生成引人入胜的结果，并在主题和风格保真度方面比基线有意义的改进，同时保留了重新语境化的能力。项目页面：https://ziplora.github.io

大型语言模型（LLMs）使用来自人类比较数据的强化学习从人类反馈中进行微调，以使它们更符合用户的偏好。与LLMs相比，人类偏好学习在文本到图像扩散模型中并没有得到广泛探索；目前最好的方法是使用精心策划的高质量图像和标题微调预训练模型，以改善视觉吸引力和文本对齐。我们提出了Diffusion-DPO方法，通过直接在人类比较数据上进行优化，将扩散模型与人类偏好对齐。Diffusion-DPO是从最近开发的直接偏好优化（DPO）中改编而来的，这是一种更简单的替代RLHF的方法，它直接优化在分类目标下最能满足人类偏好的策略。我们重新制定了DPO，以考虑扩散模型的似然概念，利用证据下界推导出可微分的目标。使用851K众包成对偏好的Pick-a-Pic数据集，我们使用Diffusion-DPO微调了最先进的Stable Diffusion XL（SDXL）-1.0模型的基础模型。我们微调的基础模型在人类评估中显著优于基础SDXL-1.0和由附加细化模型组成的更大的SDXL-1.0模型，改善了视觉吸引力和提示对齐。我们还开发了一种使用AI反馈并具有与使用人类偏好进行训练相当的性能的变体，为扩散模型对齐方法的扩展打开了大门。

最先进的扩散模型可以根据各种条件（如文本、分割和深度）生成高度逼真的图像。然而，经常被忽视的一个重要方面是在图像捕获期间使用的特定相机几何。不同光学系统对最终场景外观的影响经常被忽视。本研究介绍了一个框架，将文本到图像扩散模型与图像渲染中使用的特定镜头几何密切集成。我们的方法基于逐像素坐标调节方法，可以控制渲染几何形状。值得注意的是，我们演示了曲率属性的操作，实现了各种视觉效果，例如鱼眼、全景视图和球形纹理，只使用单个扩散模型。

我们提出了一种新的方法，用于实时合成大型场景的逼真新视角（NVS）。现有的神经渲染方法可以生成逼真的结果，但主要适用于小规模场景（<50平方米），在大规模场景（> 10000平方米）方面存在困难。传统的基于光栅化的图形渲染对于大型场景来说速度很快，但缺乏逼真度并且需要昂贵的手动创建的资产。我们的方法结合了两者的优点，采用中等质量的支架网格作为输入，并学习神经纹理场和着色器来模拟视角依赖性效果以增强逼真度，同时仍然使用标准的图形管道进行实时渲染。我们的方法优于现有的神经渲染方法，为大型自动驾驶和无人机场景提供至少30倍更快的渲染速度，且逼真度相当或更好。我们的工作是首次实现了大型真实世界场景的实时渲染。

生成模型可以生成非常逼真的图像。本文展示了生成的图像与真实图像的几何特征不同。我们建立了一组生成图像的集合，经过预筛选，可以欺骗简单的基于信号的分类器认为它们是真实的。然后，我们展示了预筛选的生成图像可以通过仅查看几何属性的分类器可靠地识别。我们使用了三种这样的分类器。所有三个分类器都无法访问图像像素，只查看派生的几何特征。第一个分类器查看图像的透视场，第二个分类器查看在图像中检测到的线条，第三个分类器查看检测到的对象和阴影之间的关系。我们的过程比SOTA本地信号基础检测器更可靠地检测到来自多个不同生成器的图像。显著性地图表明，分类器可以可靠地识别几何问题。我们得出结论，当前的生成器无法可靠地再现真实图像的几何属性。

生成模型已被证明能够合成高度详细和逼真的图像。自然而然地怀疑它们隐含地学习了一些图像内在特征，如表面法线、深度或阴影。本文提供了有力的证据表明，生成模型确实内部生成高质量的场景内在地图。我们介绍了一种称为Intrinsic LoRA（I LoRA）的通用即插即用方法，它可以将任何生成模型转化为场景内在预测器，能够直接从原始生成器网络中提取内在场景地图，而无需额外的解码器或完全微调原始网络。我们的方法采用了关键特征映射的低秩适应（LoRA），其中新学习的参数仅占生成模型总参数的不到0.6%。通过少量标记图像进行优化，我们的模型无关方法适应各种生成体系结构，包括Diffusion模型、GAN和自回归模型。我们展示了我们方法生成的场景内在地图与领先的监督技术生成的地图相比表现良好，并在某些情况下超过它们。