Humanoid-Gym是一个易于使用的强化学习（RL）框架，基于Nvidia Isaac Gym，旨在训练人形机器人的运动技能，强调从模拟到真实环境的零-shot转移。Humanoid-Gym还集成了一个从Isaac Gym到Mujoco的sim-to-sim框架，使用户可以在不同的物理模拟中验证训练的策略，以确保策略的稳健性和泛化性。该框架在RobotEra的XBot-S（1.2米高的人形机器人）和XBot-L（1.65米高的人形机器人）中在真实环境中进行了验证，并实现了零-shot sim-to-real转移。该项目的网站和源代码可以在以下网址找到：https://sites.google.com/view/humanoid-gym/。

准确的开放式大语言模型的出现引领了对这些模型进行量化技术的竞赛，以实现在终端用户设备上的执行。本文重新审视了“极端”LLM压缩问题——从多码本量化（MCQ）的经典方法的角度定义为针对极低的比特数，例如每个参数2到3比特。我们的工作基于加性量化，这是来自MCQ系列的经典算法，并将其适应于语言模型的量化。由此产生的算法推进了LLM压缩的最新技术，以在给定的压缩预算下，在精度方面优于所有最近提出的技术。例如，当将Llama 2模型压缩到每个参数2比特时，我们的算法在WikiText2上将7B模型量化为6.93困惑度（相对于最佳先前工作的1.29改进和FP16的1.81点），将13B模型量化为5.70困惑度（0.36改进）和70B模型量化为3.94困惑度（0.22改进）。我们发布了适用于语言模型的加性量化实现AQLM作为基线，以促进未来LLM量化研究。

本文介绍了一种称为$\textbf{R}$epresentation-$\textbf{C}$onditioned image $\textbf{G}$eneration (RCG)的简单而有效的图像生成框架，它在无条件类别图像生成方面创造了新的基准。RCG不依赖于任何人工注释，而是以自监督表示分布为条件，该分布是使用预训练的编码器从图像分布映射而来的。在生成过程中，RCG使用表示扩散模型 (RDM) 从这种表示分布中进行采样，并使用像素生成器根据采样的表示条件生成图像像素。这种设计在生成过程中提供了实质性的指导，从而产生高质量的图像生成结果。在ImageNet 256$\times$256上的测试中，RCG实现了Frechet Inception Distance (FID) 3.31和Inception Score (IS) 253.4。这些结果不仅显著提高了无条件类别图像生成的最新水平，而且与当前领先的有条件类别图像生成方法相媲美，弥合了这两个任务之间长期存在的性能差距。代码可在https://github.com/LTH14/rcg上找到。

数据库管理员（DBA）在管理、维护和优化数据库系统方面扮演着重要的角色。然而，对于DBA来说，管理大量数据库并及时响应是困难和繁琐的（在许多在线情况下等待几个小时是不可容忍的）。此外，现有的经验方法只支持有限的诊断场景，而且更新数据库版本的诊断规则也需要耗费大量的人力。最近，大型语言模型（LLM）在各个领域展现了巨大的潜力。因此，我们提出了D-Bot，一种基于LLM的数据库诊断系统，可以从诊断文档中自动获取知识，并在可接受的时间范围内生成合理和有根据的诊断报告（即确定根本原因和解决方案），例如与DBA相比，D-Bot可以在10分钟内完成，而DBA可能需要数小时。D-Bot中的技术包括（i）从文档中提取离线知识，（ii）生成自动提示（例如知识匹配、工具检索），（iii）使用树搜索算法进行根本原因分析，以及（iv）用于具有多个根本原因的复杂异常的协作机制。我们在真实基准测试中验证了D-Bot（包括六个典型应用程序的539个异常），结果表明D-Bot可以有效地分析未见异常的根本原因，并显著优于传统方法和像GPT-4这样的基础模型。

大型语言模型（LLMs）卓越的零样本能力，已将自然语言处理从特定任务模型转变为统一的通用基础模型。这一转变源于一些简单的基本要素：在互联网规模数据上训练出的大型生成式模型。有趣的是，这些基本要素同样适用于当今的生成式视频模型。那么，视频模型是否也可能像语言模型发展出通用语言理解能力一样，正朝着通用视觉理解的方向迈进？我们证明了Veo 3能够解决大量未经过显式训练的任务：如物体分割、边缘检测、图像编辑、理解物理属性、识别物体功能、模拟工具使用等等。这些感知、建模和操控视觉世界的能力，使模型初步具备了解决迷宫问题和对称性判断等视觉推理功能。Veo所展现出的涌现式零样本能力表明，视频模型正走在成为统一的、通用型视觉基础模型的道路上。

稀疏自编码器（SAEs）是一种无监督方法，用于学习神经网络的潜在表示的稀疏分解，以便生成看似可解释的特征。尽管最近对其潜力感到兴奋，但在工业以外的研究应用受到训练全面套件的高成本限制。在这项工作中，我们介绍了Gemma Scope，这是一个开放的JumpReLU SAEs套件，它在Gemma 2 2B和9B的所有层和子层以及Gemma 2 27B基础模型的选择层上进行了训练。我们主要在Gemma 2预训练模型上训练SAEs，但另外还发布了在指令调整的Gemma 2 9B上训练的SAEs以进行比较。我们评估了每个SAE的质量，并发布了这些结果。我们希望通过发布这些SAE权重，可以帮助社区更轻松地进行更具雄心的安全性和可解释性研究。权重和教程可以在https://huggingface.co/google/gemma-scope找到，交互式演示可以在https://www.neuronpedia.org/gemma-scope找到。

稀疏自编码器提供了一种有前途的无监督方法，通过从稀疏瓶颈层中重建激活来从语言模型中提取可解释的特征。由于语言模型学习了许多概念，自编码器需要非常大才能恢复所有相关特征。然而，由于需要平衡重建和稀疏性目标以及存在死亡潜在因素，研究自编码器的缩放属性是困难的。我们提出使用k-稀疏自编码器[Makhzani和Frey，2013]来直接控制稀疏性，简化调整并改善重建-稀疏性前沿。此外，我们发现修改后即使在我们尝试的最大规模下也会产生很少的死亡潜在因素。使用这些技术，我们发现自编码器大小和稀疏性与自编码器规模和稀疏性之间存在清晰的缩放规律。我们还引入了几个新的评估特征质量的指标，基于假设特征的恢复，激活模式的可解释性以及下游效果的稀疏性。这些指标通常随着自编码器大小的增加而改善。为了展示我们方法的可扩展性，我们使用GPT-4激活在40亿个标记上对1600万个潜在自编码器进行了训练。我们发布了开源模型的训练代码和自编码器，以及可视化工具。

蛋白质折叠模型通常通过将领域知识融入架构模块和训练流程，取得了突破性成果。然而，鉴于生成模型在其他相关问题上已取得成功，人们自然会质疑这些特定的架构设计是否是构建高性能模型的必要条件。本文提出了SimpleFold，这是首个基于流匹配（flow-matching）的蛋白质折叠模型，仅使用通用的Transformer模块。传统的蛋白质折叠模型通常采用计算成本高昂的模块，例如三角更新、显式的残基对表示，或针对该领域精心设计的多个训练目标。相比之下，SimpleFold仅使用标准的Transformer模块并结合自适应层，并通过一个包含额外结构项的生成式流匹配目标进行训练。我们将SimpleFold扩展至30亿参数，并在约900万个蒸馏得到的蛋白质结构数据以及实验PDB数据上进行了训练。在标准折叠基准测试中，SimpleFold-3B的表现与当前最先进的基线模型相当；此外，SimpleFold在集成预测方面表现出色，而这一点对于采用确定性重构目标训练的模型而言通常是难以实现的。得益于其通用架构，SimpleFold在消费级硬件上的部署和推理过程均展现出较高的效率。SimpleFold挑战了蛋白质折叠领域对复杂、特定领域架构的依赖，为未来的发展开辟了一种全新的设计思路。

大型语言模型（LLMs）的前所未有的进展对自然语言处理产生了深远影响，但尚未完全涉足可缩放矢量图形（SVG）生成领域。虽然在训练过程中，LLMs从网页中编码了部分SVG数据知识，但最近的研究表明，LLMs内部语义模糊且分词化的表示可能导致矢量图元预测中的幻觉现象。此外，LLM训练通常缺乏对矢量路径渲染顺序的建模和理解，这可能导致输出矢量图元之间的遮挡问题。在本文中，我们介绍了LLM4SVG，这是朝着弥合这一差距迈出的初步但重要的一步，旨在使LLMs更好地理解和生成矢量图形。LLM4SVG通过可学习的语义标记促进了对SVG组件的更深入理解，这些标记精确地编码了这些标记及其相应属性，以生成语义对齐的SVG输出。利用一系列可学习的语义标记，开发了一个结构化的指令跟随数据集，支持两个主要任务的理解和生成。我们的方法在现有的大型语言模型中引入了模块化架构，集成了语义标签、矢量指令编码器、微调命令和强大的LLMs，将几何、外观和语言信息紧密结合。为了解决SVG-文本指令数据稀缺的问题，我们开发了一条自动化数据生成管道，收集了超过25万个SVG数据和58万个SVG-文本指令的大规模数据集，这有助于采用在LLM开发中流行的两阶段训练策略。通过探索各种训练策略，我们开发了LLM4SVG，该模型显著超越了基于优化渲染的方法和基于语言模型的基线，在人类评估任务中取得了显著成果。

GitHub 是事实上的开源软件开发平台，提供了一套类似社交媒体的功能来标示高质量的仓库。其中，星标数量是最广泛使用的受欢迎度指标，但也存在被人为虚增（即造假）的风险，这降低了其作为决策信号的价值，并对所有 GitHub 用户构成安全威胁。在本文中，我们对 GitHub 上的假星标进行了系统性、全球性和纵向的测量研究。为此，我们构建了 StarScout，这是一种可扩展的工具，能够检测整个 GitHub 元数据中的异常星标行为（即低活跃度和同步行为）。通过分析使用 StarScout 收集的数据，我们发现：（1）自 2024 年以来，与假星标相关的活动迅速增加；（2）假星标用户的特征与普通 GitHub 用户没有显著区别，但许多用户表现出高度异常的活动模式；（3）大多数假星标用于推广短命的恶意软件仓库，这些仓库伪装成盗版软件、游戏作弊工具或加密货币机器人；（4）一些仓库可能为了增长黑客而获取假星标，但假星标仅在短期内（即不到两个月）有推广效果，长期来看则成为负担。我们的研究对平台管理员、开源从业者和供应链安全研究人员具有重要意义。