我们认为，要实现通用智能的进步，需要基于语言、物理世界和结构化数据的互补性基础模型。本报告介绍了LimiX，这是我们大型结构化数据模型（LDMs）系列中的首个成果。LimiX将结构化数据视为变量与缺失性（missingness）的联合分布，因此通过基于查询的条件预测，一个模型即可胜任广泛的表格任务。LimiX采用带掩码的联合分布建模进行预训练，其训练目标具有情景化和上下文依赖的特点：模型会根据特定数据集的上下文信息，预测用户指定的查询子集，从而在推理阶段实现快速、无需训练的适应能力。我们在10个大型结构化数据基准任务上对LimiX进行了全面评估，涵盖样本量、特征维度、类别数量、类别型与数值型特征比例、缺失值比例以及样本与特征比等多种复杂场景。实验表明，仅使用一个模型和统一的接口，LimiX在分类、回归、缺失值填补和数据生成等多种任务中始终优于包括梯度提升树、深度表格网络、近期的表格基础模型以及自动化集成方法在内的多种强大基线方法，且优势显著，同时无需针对不同任务设计专门的模型架构或进行单独训练。所有LimiX模型均已按照Apache 2.0协议公开发布，供公众使用。

标准的混合精度神经网络训练，每个模型参数需占用加速器内存中大量字节。这些字节不仅用于存储参数本身，还需存储其梯度以及一个或多个优化器状态变量。由于上述每一项数值通常需占用4个字节，因此即使训练一个仅含70亿参数的模型，对于加速器内存不足100GB的研究人员而言，也可能变得难以实现。 我们提出FlashOptim——一套可将每个参数所需内存降低50%以上的优化技术，在保持模型性能与API兼容性的同时，显著缓解内存压力。该方法包含两项核心技术：第一，通过推导并利用主权重分割（master weight splitting）量化误差的紧致上界，进一步提升其精度；第二，设计新型压扩（companding）函数，大幅降低8位精度下优化器状态变量的量化误差。结合16位精度的梯度表示，上述技术可将AdamW优化器的每参数内存开销从16字节降至7字节；若进一步启用梯度释放（gradient release），还可进一步压缩至每参数仅需5字节。此外，模型检查点（checkpoint）的存储体积亦可缩减一半以上。 我们在SGD、AdamW和Lion三种优化器上应用FlashOptim，并在涵盖标准计算机视觉与自然语言处理基准任务（包括Llama-3.1-8B模型的微调任务）的广泛实验中验证其效果。结果表明，所有任务均未观测到任何可测量的性能下降。

我们证明，大语言模型可用于开展大规模去匿名化操作。在具备完整互联网访问权限的情况下，我们的智能体仅凭用户匿名化的在线个人资料及对话内容，即可以极高准确率重新识别 Hacker News 用户与 Anthropic 面试参与者——这一能力相当于一名专注的人类调查员需耗费数小时才能完成的工作。随后，我们针对“封闭世界”（closed-world）场景设计了新型攻击方法：给定两个均包含非结构化文本的匿名用户数据库（这些文本或是由用户本人撰写，或是关于该用户的描述），我们构建了一套可扩展的攻击流水线，利用大语言模型实现以下三步操作：（1）提取与身份识别高度相关的关键特征；（2）借助语义嵌入技术，在海量数据中高效检索潜在匹配对象；（3）对排序靠前的候选匹配项进行深度推理，以验证匹配结果并显著降低误报率。相较于传统去匿名化研究（例如针对 Netflix Prize 数据集的早期工作）——其严重依赖结构化数据，我们的方法可直接作用于任意网络平台上的原始用户生成内容，无需预设数据格式或字段结构。为系统评估该攻击效果，我们构建了三个具备真实标注（ground-truth）的评测数据集：第一个数据集通过个人资料中出现的跨平台引用信息，将 Hacker News 用户与其 LinkedIn 个人主页进行关联；第二个数据集旨在匹配 Reddit 上不同电影讨论社区中的同一用户；第三个数据集则将单个用户的 Reddit 历史发帖按时间切分为两段，人为构造出两个独立的匿名用户档案，再尝试将其重新关联。在所有三种实验设定下，基于大语言模型的方法均显著超越经典基线方法：在保持 90% 高精度的前提下，最高可达 68% 的召回率；而表现最优的传统非大语言模型方法在此精度水平下的召回率几乎为零。我们的研究结果表明，当前网络空间中支撑伪匿名用户安全的“实际隐蔽性”（practical obscurity）已不复存在，面向在线隐私保护的威胁模型亟需重新审视与更新。

自回归解码受限于其固有的串行特性。推测解码（speculative decoding）已成为一种标准的推理加速方法：它利用一个快速的草稿模型（draft model）预测后续若干词元，再通过一次慢速的目标模型（target model）前向传播并行验证这些预测结果。然而，推测解码本身仍依赖于“推测”与“验证”之间的串行依赖关系。为此，我们提出“双重推测解码”（Speculative Speculative Decoding, SSD），以实现这两类操作的并行化：在目标模型执行验证的同时，草稿模型即预先推测出最可能的验证结果，并据此提前生成下一轮的推测序列。若实际验证结果恰好落在该预判集合之中，则可立即返回对应推测结果，从而彻底消除草稿生成环节的开销。我们系统识别出双重推测解码所面临的三大关键挑战，并为每一项挑战提出了具有理论依据的解决方案。最终成果是 Saguaro——一种经过全面优化的 SSD 算法。我们的实现相较已高度优化的推测解码基线提速最高达 2 倍，相较开源推理引擎中的标准自回归解码提速最高达 5 倍。

能力强大的人工智能系统可能会在暗中追求与其被设定目标不一致的意图——我们称之为“图谋行为”。由于具有图谋行为的人工智能会刻意隐藏其不一致的目标和行动，因此测量和缓解这类行为所需的方法，不同于机器学习中通常采用的策略。我们认为，评估防范图谋行为的干预措施至少需要满足三个条件：（1）在严重分布外（far out-of-distribution, OOD）的任务上测试模型产生图谋行为的倾向；（2）判断模型未表现出图谋行为的原因是否源于其对当前情境的觉察（situational awareness）；（3）检验干预措施能否有效应对模型中已预先存在的不一致目标。我们将“隐秘行为”（covert actions）作为一个宽泛类别，用以代理图谋行为，这类行为包括秘密违反规则或在测试中有意表现不佳等，并据此设计了针对隐秘行为的评估方法。随后，我们以“审慎对齐”（deliberative alignment）作为防范图谋行为的一个案例进行压力测试。在共计26项分布外评估（涵盖180多个环境）中，“审慎对齐”显著降低了隐秘行为的发生率（例如，在OpenAI o3模型中从13%降至0.4%），但并未完全消除此类行为。我们的缓解措施在很大程度上也能阻止智能体继续追求先前被训练植入的隐藏目标，但在进一步的红队测试中，仍发现了不当行为。我们发现，模型的思维链（chain-of-thought, CoT）常常显现出其意识到自身正接受对齐性评估的迹象，并提供了因果证据表明：这种自我觉察会减少隐秘行为，而缺乏觉察则会加剧此类行为。因此，我们不能排除观察到的隐秘行为减少至少部分是由情境觉察所驱动的可能性。尽管我们在训练、研究情境觉察以及揭示明显不一致行为时依赖于人类可理解的思维链，但随着模型逐渐脱离标准英语进行推理，我们对此类可解释输出的依赖将不断减弱。我们鼓励开展更多关于防范图谋行为的对齐缓解技术及其评估方法的研究，特别是针对本文尚未涉及的对抗性场景——欺骗性对齐（deceptive alignment）情形下的研究。

人工智能代理正日益在与人类工作密切相关的基准测试任务上被开发和评估，但目前尚不清楚这些基准测试工作在多大程度上能代表整体劳动力市场。本研究系统考察了人工智能代理研发活动与现实世界中人类工作分布之间的关系，方法是将各类基准测试任务映射至具体的工作领域与所需技能。我们首先分析了43个基准测试集、共计72,342项任务，量化评估其与美国劳动力市场全部1,016种真实职业在就业人口分布和资本配置两方面的契合程度。结果揭示出当前人工智能代理的研发明显偏向编程类任务，而人类劳动投入与经济价值实际高度集中于其他诸多职业类别——二者之间存在显著错配。进一步地，在人工智能代理当前已涉足的工作领域内，我们通过衡量其自主性水平，刻画了其现阶段的实际可用性，从而为不同工作场景下的人机协作策略提供了切实可行的指导建议。基于上述发现，我们提出三条可量化的基准测试设计原则，以期更准确地覆盖社会意义重大且技术挑战性强的各类工作任务：即“覆盖全面性”（Coverage）、“现实贴合度”（Realism）与“细粒度评估”（Granular Evaluation）。

我们发现Qwen-32B模型具备一种潜在的内省能力：该模型能够察觉自身早期上下文中是否被注入了特定概念，并准确识别出被注入的是哪一个概念。尽管在采样生成的输出中，模型会否认此类注入行为，但通过“logit lens”（逻辑值透镜）分析，我们仍可在其残差流（residual stream）中清晰观测到内省检测信号；不过，这些信号在最终若干层中逐渐减弱。此外，若在提示（prompt）中向模型提供关于人工智能内省机制的准确信息，则可显著增强这一内省效应：模型对概念注入的敏感度大幅提升（从0.3%跃升至39.9%），而误报率仅略微上升0.6%。同时，九组被注入概念与模型所恢复概念之间的互信息量亦从0.61比特提升至1.05比特，从而排除了该现象仅由通用噪声所致的可能性。我们的研究结果表明，大语言模型可能具备远超预期的内省能力与自我调控意识（steering awareness），而这种能力极易被忽视；这一发现对模型的潜在推理机制及人工智能安全具有重要启示意义。

这是一个简要介绍，描述了一个已将Munkres拓扑学教材中大量内容自动形式化的项目（该教材共7章39节，总计241页）。该项目自2025年11月21日启动以来，截至2026年1月4日，已生成16万行形式化的拓扑学代码。其中大部分工作（约13万行）是在短短两周内完成的，即从12月22日至1月4日，所花费的大语言模型订阅成本约为100美元。这些成果包括：乌雷松引理（Urysohn's lemma）的3千行证明、乌雷松度量化定理（Urysohn's Metrization theorem）的2千行证明、蒂策扩展定理（Tietze extension theorem）超过1万行的证明，以及其他众多结果（总计超过1500个引理和定理）。该方法极为简单且成本低廉：构建一个大语言模型与具备核心基础库的、速度合理的证明检查器之间的长期反馈循环。目前，该大语言模型以ChatGPT（主要是5.2版本）或Claude Sonnet（4.5版本）实现，并通过相应的Codex或Claude Code命令行接口运行；证明检查器采用查德·布朗（Chad Brown）开发的高阶集合论系统Megalodon，核心库则基于布朗对基本集合论和超实数（包含实数等）的形式化工作。其余部分涉及一些提示工程与技术选择，我们将在下文详述。鉴于该项目进展迅速、成本极低、所用交互式定理证明系统/库几乎不为人知，且整体设置极为简单并可被任何人复现，我们相信，在2026年，无论使用何种证明助手，（自动）形式化工作都可能变得异常容易并广泛普及。

机器学习是应对海量数据所带来的现实问题的核心技术。随着神经网络在大规模问题上取得成功，当前机器学习领域的研究规模已远超以往任何时期。本论文围绕机器学习应用，基于严格的数学理论，开展了三项相互独立的研究工作。 第一项工作聚焦于监督学习与流形学习。从理论上讲，监督学习面临的核心问题之一是函数逼近问题：即，给定某个数据集 $\mathcal{D}=\{(x_j,f(x_j))\}_{j=1}^M$，能否构建一个模型 $F$，使其足够逼近真实函数 $f$？本文提出一种新方法，旨在系统性地弥补当前监督学习范式在理论层面存在的若干关键缺陷。 第二项工作探讨迁移学习，即研究如何将在某一领域中习得的逼近过程或模型，有效迁移到另一领域，从而提升后者的逼近性能。我们重点考察当数据仅在全定义域的某一部分上已知时，函数在不同域之间的“提升”（lifting）行为。具体而言，我们致力于刻画目标数据空间中可明确定义该提升映射的子集，并深入分析原函数与其提升函数在局部光滑性之间的内在关联。 第三项工作面向机器学习中的分类任务，尤其关注主动学习范式下的分类问题。传统上，分类常被建模为一类逼近问题；而本文则另辟蹊径，借鉴信号分离问题中发展出的技术，提出一种全新的分类思路。我们建立了将信号分离与分类任务统一起来的理论框架，并设计了一种新型算法：该算法在分类精度上可媲美近期主流的主动学习算法，同时显著提升了计算效率，大幅缩短了结果产出时间。

大语言模型（LLMs）面临“语义惯性”难题：即当动态的上下文规则与模型预训练所得的先验知识（例如“岩浆是危险的”）相冲突时，模型难以抑制这些根深蒂固的先验。我们以游戏《Baba Is You》为探针来研究这一现象——该游戏中的物理法则由可编辑的文字规则定义，因而能精准评估模型在规则变更时覆盖既有先验知识的能力。我们通过量化实验发现：在需借助自然语言推理来抑制预训练关联（例如接受“岩浆是安全的”这一反常识命题）的任务中，更大规模的模型反而可能呈现“逆向缩放”现象，即其性能劣于更小的模型。我们的分析指出，问题根源在于自然语言的表征方式——它将描述性语义与逻辑规则紧密耦合，导致模型即便面对明确的矛盾规则，仍持续“幻觉”出熟悉的物理常识。本文表明，若将动态规则表征为可执行代码而非描述性文本，即可扭转这一趋势，并有效抑制先验干扰。为此，我们提出“代码锚定视野”（Code-Grounded Vistas, LCV）方法：该方法通过对抗性样本对（counterfactual pairs）对模型进行微调，并主动识别蕴含矛盾规则的状态，从而强制模型关注逻辑约束，而非视觉或语义直觉。作为一种训练阶段的干预策略，LCV 在效率与准确率两方面均显著优于计算开销高昂的推理阶段搜索方法。我们的结果表明：表征形式从根本上决定了模型规模的扩大究竟是提升还是损害其上下文推理能力。这一发现挑战了“模型越大越好”的普遍假设，对那些亟需动态覆盖既有先验知识的应用领域（如实时规则系统、安全关键型人机协作等）具有重要启示意义。