权重初始化在神经网络训练中起着重要作用。已经提出并评估了广泛使用的初始化方法，用于从头开始训练的网络。然而，越来越多的预训练模型现在为解决这个经典的权重初始化问题提供了新的机会。在这项工作中，我们介绍了权重选择，这是一种通过从预训练的较大模型中选择子集来初始化较小模型的方法。这使得可以将预训练权重的知识转移到较小的模型中。我们的实验表明，权重选择可以显著提高小模型的性能并减少它们的训练时间。值得注意的是，它还可以与知识蒸馏一起使用。权重选择为在资源受限的环境中利用预训练模型的能力提供了一种新的方法，我们希望它能成为在大模型时代训练小模型的有用工具。代码可在https://github.com/OscarXZQ/weight-selection上找到。

将预训练的大规模文本到图像扩散模型用于文本到3D生成已经显示出很大的潜力，但仍然存在不一致的3D几何结构（Janus问题）和严重的伪影。上述问题主要源于2D扩散模型在提取时缺乏3D意识。在这项工作中，我们提出了GeoDream，一种新颖的方法，将显式的广义3D先验与2D扩散先验相结合，以增强获得明确的3D一致几何结构的能力，而不会牺牲多样性或保真度。具体而言，我们首先利用多视图扩散模型生成姿态图像，然后从预测的图像构建代价体，作为本地3D几何先验，确保在3D空间中的空间一致性。随后，我们进一步提出利用3D几何先验通过解耦设计解锁2D扩散先验中3D意识的巨大潜力。值得注意的是，解耦2D和3D先验使我们能够进一步精细化3D几何先验。我们证明，精细化的3D几何先验有助于提高2D扩散先验的3D感知能力，反过来为3D几何先验的精细化提供了更好的指导。我们的数字和视觉比较表明，GeoDream生成更具3D一致性的纹理网格，并具有高分辨率的逼真渲染（即1024×1024），并更加密切地遵循语义连贯性。

最近，神经网络高斯函数的出现在神经渲染领域引起了一场革命，使得高质量渲染以实时速度生成成为可能。然而，当应用于具有反射表面的场景时，显式和离散表示会遇到挑战。在本文中，我们提出了一种名为GaussianShader的新方法，它在三维高斯函数上应用简化的着色函数，以增强具有反射表面的场景中的神经渲染效果，同时保持训练和渲染效率。应用着色函数的主要挑战在于对离散三维高斯函数进行准确的法线估计。具体来说，我们提出了一种基于三维高斯函数最短轴方向的法线估计框架，并设计了一个精心设计的损失函数，以使法线与高斯球的几何形状一致。实验表明，GaussianShader在效率和视觉质量之间取得了可观的平衡。我们的方法在PSNR上超过了Gaussian Splatting，展现了1.57dB的提高。与处理反射表面的先前工作（例如Ref-NeRF）相比，我们的优化时间显著加快（23h vs. 0.58h）。请点击我们的项目网站以查看更多结果。

随着数据集大小和计算资源在近年来的巨大增长，所谓的基础模型已经在自然语言处理和视觉任务中变得流行起来。在这项工作中，我们提出探索基础模型用于在3D形状上进行关键点检测的任务。关键点检测的一个独特特征是，它需要语义和几何意识，同时要求高定位精度。为了解决这个问题，我们首先提出将来自大型预训练2D视觉模型的特征反投影到3D形状上，并将其用于此任务。我们展示了我们获得的强健的3D特征包含丰富的语义信息，并分析了来自不同2D基础模型的多个候选特征。其次，我们采用关键点候选优化模块，旨在匹配形状上关键点的平均观察分布，并由反投影特征引导。由此得出的方法在KeyPointNet数据集上实现了新的最先进的有限样本关键点检测，几乎将先前最佳方法的性能翻倍。

虽然最初的Structure-from-Motion（SfM）方法既包括全局方法又包括增量方法，但最近的大多数应用都依赖于增量系统来估计相机姿态，因为它们具有更强的鲁棒性。虽然基于从数据中学习的深度模型的SfM“前端”取得了巨大进展，但最先进的（增量）SfM流水线仍然依赖于2004年开发的经典SIFT特征。在这项工作中，我们研究了利用特征提取和匹配的发展是否有助于全局SfM与SOTA增量SfM方法（COLMAP）表现相当。为此，我们设计了一个模块化的SfM框架，使我们能够轻松地结合SfM流水线不同阶段的发展。我们的实验表明，虽然基于深度学习的两视图对应估计的发展确实能够将全局SfM重建的场景的点密度提高，但在一系列数据集上与增量SfM结果进行比较时，它们都没有超过SIFT。我们的SfM系统从头开始设计，利用分布式计算，使我们能够在多台计算机上并行计算并扩展到大型场景。

3D高斯喷溅是一种新的建模和渲染3D辐射场的方法，与SOTA NeRF方法相比，它实现了更快的学习和渲染时间。然而，与NeRF方法相比，它需要存储多个3D高斯函数的参数，因此存储需求更大。我们注意到许多高斯函数可能共享相似的参数，因此我们引入了一种基于kmeans算法的简单向量量化方法来量化高斯函数的参数。然后，我们将小的码本与每个高斯函数的码索引一起存储。此外，我们通过排序和类似于游程编码的方法进一步压缩索引。我们在标准基准测试以及一个比标准基准测试大一个数量级的新基准测试上进行了广泛的实验。我们表明，我们的简单而有效的方法可以将原始3D高斯喷溅方法的存储成本减少近20倍，并且渲染图像的质量下降非常小。

角色动画旨在通过驱动信号从静态图像生成角色视频。目前，扩散模型已成为视觉生成研究的主流，因为它们具有强大的生成能力。然而，在图像到视频的领域，特别是在角色动画中，仍存在挑战，其中保持与角色详细信息的时间一致性仍然是一个巨大的问题。在本文中，我们利用扩散模型的能力，提出了一个专门针对角色动画的新框架。为了保持参考图像中复杂外观特征的一致性，我们设计了ReferenceNet来通过空间注意力合并详细特征。为了确保可控性和连续性，我们引入了一个高效的姿势指南者来指导角色的动作，并采用有效的时间建模方法来确保视频帧之间的平滑过渡。通过扩展训练数据，我们的方法可以为任意角色进行动画制作，相比其他图像到视频方法，在角色动画方面取得了优越的结果。此外，我们在时尚视频和人类舞蹈合成的基准测试中评估了我们的方法，取得了最新的结果。

尽管文本到图像模型（T2I）已经取得了广泛的成功，但它们仍然难以产生既美观又忠实于用户输入文本的图像。我们引入了DreamSync，这是一种无模型偏见的训练算法，旨在改进T2I模型以忠实于文本输入。DreamSync基于TIFA评估框架的最新见解构建，即大型视觉语言模型（VLM）可以有效地识别生成的图像与文本输入之间的细微差异。DreamSync利用这一见解，无需任何标记数据即可训练T2I模型；它使用自己的生成来改进T2I模型。首先，它提示模型为给定的输入文本生成多个候选图像。然后，它使用两个VLM来选择最佳的生成：一个视觉问答模型，用于测量生成的图像与文本的对齐程度；另一个用于测量生成的美学质量。选择后，我们使用LoRA来迭代地微调T2I模型，以引导其生成朝向所选的最佳生成。DreamSync不需要任何额外的人工注释、模型架构更改或强化学习。尽管它很简单，但DreamSync改进了两个基于扩散的T2I模型的语义对齐和美学吸引力，这在多个基准测试中得到了证明（TIFA上+1.7％，DSG1K上+2.9％，VILA美学上+3.4％），并经过人类评估。

多视角神经表面重建展示了令人印象深刻的结果。然而，与传统技术相比，一个明显的限制是推理时间过长，这主要归因于需要进行密集采样以保持渲染质量。本文介绍了一种新方法，通过结合场景的截断有符号距离场（TSDF）大幅减少了采样次数。尽管之前的研究提出了重要性采样，但它们依赖于整个空间的初始均匀采样，使得它们在试图使用更少的采样时无法避免性能下降。相反，我们的方法利用仅由训练视图生成的TSDF体积，并证明它能够为未来的新视图提供合理的采样上限。因此，我们通过充分利用TSDF体积给出的边界完全利用了连续神经SDF估计，从而实现了高质量的渲染。值得注意的是，我们的方法是第一种可以稳健地插入各种神经表面场模型的方法，只要它们使用体积渲染技术。我们的实证结果显示，推理速度增加了11倍，而不会影响性能。结果视频可在我们的项目页面上找到：https://tsdf-sampling.github.io/。

我们提出了VQ-NeRF，这是一个双分支神经网络模型，它结合了向量量化（VQ）来分解和编辑三维场景中的反射场。传统的神经反射场仅使用连续表示来建模三维场景，尽管现实中的物体通常由离散材料组成。这种缺乏离散化可能导致材料分解有噪声和材料编辑复杂。为了解决这些限制，我们的模型由一个连续分支和一个离散分支组成。连续分支遵循传统流程以预测分解的材料，而离散分支使用VQ机制将连续材料量化为单个材料。通过离散化材料，我们的模型可以减少分解过程中的噪声，并生成离散材料的分割图。可以通过单击分割结果的相应区域轻松选择特定材料进行进一步编辑。此外，我们提出了一种基于丢失的VQ码字排名策略来预测场景中的材料数量，从而减少材料分割过程中的冗余。为了提高可用性，我们还开发了一个交互式界面来进一步辅助材料编辑。我们在计算机生成的和真实世界的场景上评估了我们的模型，展示了其优越的性能。据我们所知，我们的模型是第一个能够在三维场景中实现离散材料编辑的模型。