AI热门论文

领域

ALL

特色

ALL

请选择

速览

今日热度

我的收藏

The Hitchhiker's Guide to Agentic AI: From Foundations to Systems

Haggai Roitman

LLM RLHF Agent Agent Planning Tool Learning Agent Memory Multi-agent Collaboration Agent Eval Benchmarks

1592

热度

2026年06月22日

《面向智能体的AI实践指南》是一本面向从业者的全面参考手册，专为构建自主式人工智能系统而编写。本书覆盖了从基础原理到生产部署的完整技术栈，并围绕一个核心论点展开：要构建卓越的智能体系统，必须深入理解整个技术流水线的每一层，而不能仅局限于某一层。全书首先介绍大语言模型（LLM）这一底层基础——包括Transformer架构、GPU计算系统、模型预训练与微调（监督微调SFT、低秩适配LoRA、混合专家MoE）、模型压缩技术以及推理优化方法；这些内容被视作不可或缺的基础支撑，而非全书的首要关注焦点。随后，本书深入探讨对齐与推理层：涵盖基于人类反馈的强化学习（RLHF）、近端策略优化（PPO）、直接偏好优化（DPO）及其各类变体、生成式强化策略优化（GRPO）、奖励建模，以及面向大规模推理模型的强化学习方法（包括思维链推理和测试时缩放）。全书后半部分则聚焦于智能体AI本身，涵盖智能体训练与基于轨迹的强化学习、检索增强生成（RAG及智能体式RAG）、记忆系统（上下文内记忆、外部记忆、情节记忆与语义记忆）、智能体运行时框架设计与上下文管理、循环工程（推理时强化学习、生成—验证—重试优化、自适应预算控制），以及一套系统的智能体设计模式分类体系。书中还深入剖析了智能体间的协同机制：包括模型上下文协议（MCP）、智能体能力与工具调用、智能体间通信协议（A2A），以及涵盖中心化、去中心化与分层结构的多智能体系统架构。最后，本书以智能体开发框架、智能体用户界面（UI）设计、面向智能体任务的评估方法论，以及生产环境部署收尾。每一章均兼顾严谨的理论基础与切实可行的工程实践指导，辅以可运行的代码示例，并引用相关领域的前沿原始文献。

PDF

许愿

Extracting Neural Materials from Images

155

神经材质能够以紧凑、通用的基函数形式表征复杂的镜面反射与散射效应。然而，神经材质的获取与人工编辑仍面临巨大挑战。本文提出 NeuMatEx——一种可微分的逆向渲染方法，用于从图像中提取空间变化的神经材质。由于神经材质潜在空间具有高度非线性结构，直接采用朴素的逆向渲染进行优化在实践中不可行。为解决这一问题，我们训练了一个大型材质重建模型（LMRM），该模型可直接从输入图像中预测初始的基础色（base color）、神经材质潜在表示（neural material latents）以及异方差不确定性引导图（aleatoric uncertainty guides）。该材质先验知识不仅为后续优化提供了高质量的初始值，还显著增强了基于逆向路径追踪（inverse path tracing）的优化过程的约束能力。此外，所预测的不确定性还能进一步提升重建鲁棒性：它使高置信度区域更紧密地锚定于 LMRM 的预测结果，从而有效防止光照信息及复杂的镜面反射效应被错误地“烘焙”进材质本身。在合成数据与真实资产上的实验表明，NeuMatEx 在视觉质量与材质解耦精度方面均优于基于物理的渲染（PBR）方法，能够更准确地提取出复杂材质。

PDF

许愿

NOVA3R: Non-pixel-aligned Visual Transformer for Amodal 3D Reconstruction

125

我们提出了NOVA3R，一种面向无位姿图像集合、以前馈方式实现非像素对齐三维重建的有效方法。与将几何结构严格绑定于每条光线预测结果的像素对齐方法不同，我们的建模方式学习一种全局性、与视角无关的场景表征，从而将三维重建过程与像素对齐解耦。该设计旨在克服像素对齐三维重建中的两大关键局限：（1）不仅能恢复可见区域的点，还能重建不可见区域的点，从而获得完整的场景表征；（2）生成物理上更合理、更符合真实几何规律的结构，在多视角重叠区域中显著减少冗余或重复的几何结构。为实现上述目标，我们引入了一种“场景令牌”（scene-token）机制，用于跨多张无位姿图像聚合场景信息；同时设计了一种基于扩散模型的三维解码器，用以重建完整且非像素对齐的点云。在场景级与物体级数据集上的大量实验表明，NOVA3R在重建精度与完整性两方面均显著优于当前最先进的方法。

PDF

许愿

Neural Texture Compression using Hypernetworks

Belcour Laurent

GenAI TDIG Inpainting

热度

2026年06月25日

近期关于神经纹理压缩的研究表明，可以学习得到尺寸较小的、针对每种材质的纹理表示（由隐式纹理和一个小型多层感知机解码器构成），该表示可在着色过程中实时解码，以重建物理真实感着色模型所需的输入。然而，现有方法在给定多层感知机结构及隐式纹理配置的前提下，仍需针对每种材质单独执行基于梯度下降的优化过程。本工作提出训练一个统一的超网络，该网络可同时输出隐式特征以及多层感知机的全部权重与偏置参数。尽管解空间维度极高，该方法所生成结果的质量仍可与当前主流的神经纹理压缩基准方法相媲美。此外，我们进一步将该方法拓展至可同时推断多个解码器，甚至能生成具备超分辨率能力的解码器。

PDF

许愿

SubdivAR: Autoregressive Next-Scale Prediction for Neural Mesh Subdivision

网格细分是一种基础性操作，用于将粗糙、易于编辑的网格转化为高分辨率曲面，在数字资产创作中具有广泛应用。传统的基于规则的细分方法依赖于固定的局部细化规则，往往导致生成表面过度平滑。近期提出的神经网络细分方法虽在细节合成方面有所提升，但仍受限于局部建模能力，泛化性能亦较为有限。本文提出 SubdivAR——一种基于我们所提出的“网格自回归表示法”（Mesh Autoregressive Representation, MAR）的神经网格细分框架。MAR 将不同细分层级的网格按尺度顺序组织为一个有序的多尺度序列，从而将细分任务重新建模为自回归式的“下一尺度预测”问题。为支撑该建模范式，我们设计了一种“混合拓扑感知 Transformer”（Hybrid Topology-Aware Transformer），该模块融合了全局语义注意力机制与受拓扑约束的局部特征聚合机制。SubdivAR 采用“下一尺度坐标预测”范式，在每一细分阶段直接回归顶点偏移量，既严格保持细分过程的拓扑结构，又精准恢复细粒度的几何细节。为保障模型训练的可靠性，我们构建了 FII-40K 数据集——一个精心筛选的高质量网格数据集，包含近 40,000 个样本，并为每个样本提供了多层次细分监督信号。实验结果表明，SubdivAR 在各项指标上均显著超越当前最优基线方法：豪斯多夫距离（Hausdorff Distance）和倒角距离（Chamfer Distance）分别降低 18.8% 和 14.2%；同时，该方法在复杂开放曲面几何体上展现出优异的鲁棒性。

PDF

许愿

Toward Expert Investment Teams:A Multi-Agent LLM System with Fine-Grained Trading Tasks

LLM PTSAD Agent Agent Planning Tool Learning Multi-agent Collaboration Autonomous Workflows AI Apps / Applied AI EQT

热度

2026年02月26日

大语言模型（LLMs）的快速发展，显著推动了自主化金融交易系统的研究与应用。当前主流方法多采用多智能体系统，分别模拟分析师与投资经理等角色；但这类方法通常依赖抽象、笼统的指令，忽视了真实投研工作流中诸多细微而关键的环节，从而导致推理性能下降，决策过程也缺乏可解释性。为此，我们提出一种基于多智能体大语言模型的交易框架，其核心在于将投资分析显式地分解为细粒度的具体任务，而非仅提供粗粒度的高层指令。我们在严格控制数据泄露的回测环境下，利用日本股市数据（涵盖股价、财务报表、新闻舆情及宏观经济信息）对所提框架进行了实证评估。实验结果表明，相较于传统粗粒度指令设计，细粒度任务分解能显著提升经风险调整后的收益表现。尤为关键的是，对各智能体中间输出的深入分析揭示：分析结果与下游决策偏好之间的一致性，是决定整个系统性能的关键因素。此外，我们还开展了标准的投资组合优化——充分利用各系统输出与股票指数之间的低相关性，以及各系统自身输出的方差特征；该优化策略进一步实现了更优的整体表现。上述发现为在实际交易场景中设计大语言模型智能体的架构与任务配置提供了重要参考与实践指导。

PDF

许愿

String Seed of Thought: Prompting LLMs for Distribution-Faithful and Diverse Generation

我们提出了一种名为“思维字符串种子”（String Seed of Thought，简称SSoT）的新型大语言模型提示方法，用于改进概率性指令遵循（Probabilistic Instruction Following, PIF）。我们将PIF定义为一项任务：要求大语言模型从一组预定义的选项中选择答案，每个选项对应一个特定的概率，使得在多次提示下，模型生成答案的经验分布能够与目标分布保持一致。尽管大语言模型在具有唯一确定性答案的任务上表现出色，但在PIF任务中常常表现不佳，容易产生偏差。这种偏差对需要非确定性行为的应用场景尤为不利，例如模拟人类行为、内容多样化以及多人游戏等。此外，这种偏差还会导致生成的回答多样性下降，在测试时扩展（test-time scaling）中这一问题尤为关键，因为输出会坍缩到少数几种答案。为解决这一问题，我们提出了SSoT——一种简单的提示方法，指导大语言模型首先输出一个随机字符串，以产生足够的熵。SSoT还指示模型通过对该字符串进行操作来提取随机性，从而推导出最终答案，这样既保持了输出的多样性，又满足了特定的概率约束。实验表明，SSoT显著提升了大语言模型在PIF任务上的表现，使其接近伪随机数生成器的理想性能。此外，我们在NoveltyBench上的实验进一步证明，SSoT的优势不仅限于封闭式任务，还能通过增强回答的多样性，有效提升开放式任务的表现。

PDF

许愿

Do Language Models Need Sleep? Offline Recurrence for Improved Online Inference

LLM Long Context Latent Reasoning ML Mamba/SSM

热度

2026年05月25日

基于Transformer的大语言模型正日益被用于长程任务，但其注意力机制在上下文长度增加时存在严重的可扩展性问题。为应对这一挑战，我们研究了一种类睡眠的巩固机制：模型周期性地将近期上下文转化为持久化的快速权重，随后清空其键值缓存。在“睡眠”阶段，模型对已累积的上下文执行 $N$ 轮离线循环处理，并通过一个可学习的局部规则更新其状态空间模型（SSM）模块中的快速权重。在推理阶段，该机制将额外计算转移至“睡眠”阶段完成，从而在保持清醒期预测低延迟的同时提升整体性能。我们在若干受控的合成任务上验证了本方法的有效性，包括元胞自动机模拟与多跳图检索任务；此外，还在一项贴近实际应用的数学推理任务上进行了测试——在此任务中，标准Transformer模型以及SSM-注意力混合模型均告失败。进一步实验表明，随着本方法中“睡眠”轮数 $N$ 的增加，模型性能持续提升，且在需要更深层次推理的样例上增益最为显著。

PDF

许愿

Are First-Order Diffusion Samplers Really Slower? A Fast Forward-Value Approach

GenAI Diffusion ML DM

热度

2025年12月31日

高阶常微分方程（ODE）求解器已成为加速扩散概率模型（DPM）采样的标准工具，这使得人们普遍认为一阶方法本质上更慢，而提高离散化阶数是实现更快生成的主要途径。本文挑战了这一观点，并从一个互补的角度重新审视了加速机制：除了求解器的阶数之外，在反向时间动态过程中DPM评估点的布置方式在神经网络函数评估次数（NFE）较低的情况下会显著影响采样的准确性。我们提出了一种新颖的无需训练的一阶采样器，其主导离散误差的符号与DDIM相反。从算法上看，该方法通过一种廉价的单步前向预测器来近似前向值评估。我们提供了理论保证，证明所得到的采样器能够准确逼近理想的前向值轨迹，同时保持一阶收敛性。实验结果表明，在标准图像生成基准（CIFAR-10、ImageNet、FFHQ 和 LSUN）上，该采样器在相同的 NFE 预算下始终提升了样本质量，且性能可与最先进的高阶采样器相媲美，有时甚至更优。总体而言，这些结果表明，DPM 评估点的布置为加速扩散采样提供了一个额外且相对独立的设计维度。

PDF

许愿

Train-before-Test Harmonizes Language Model Rankings

Guanhua Zhang ,

Ricardo Dominguez-Olmedo ,

Moritz Hardt

LLM SFT Other LLM NLP Benchmarks

热度

2025年07月07日

现有的语言模型基准测试会给出相互矛盾的模型排名，即使是那些旨在衡量相似能力的基准测试也是如此。这种排名冲突的问题阻碍了模型选择，模糊了模型之间的比较，并为日益增长的模型竞争生态带来了混乱。最近的研究将这种排名不一致归因于“在测试任务上进行训练”的现象：由于不同模型在发布时对任何特定测试任务的准备程度不同，导致了排名差异。一个可能的解决方案是“先训练再测试”（train-before-test）：即在评估之前，让每个模型都经过针对该基准的相同微调。我们的主要贡献是对“先训练再测试”这一方法在24个基准测试和61个模型中进行了广泛的实证评估。我们发现，“先训练再测试”显著提高了所有基准测试之间排名的一致性。虽然原始的模型排名本身缺乏外部效度，但在采用“先训练再测试”之后，其外部效度得到了明显提升：模型排名可以较为稳定地从一个基准迁移到另一个基准。即使在同一模型家族内部，“先训练再测试”也能将原本强烈的排名分歧降低到近乎完全一致的程度。此外，“先训练再测试”还将模型得分矩阵几乎压缩为秩一（rank one）的形式，揭示了关于影响基准表现的潜在因素的新见解。我们的研究支持将“先训练再测试”作为大语言模型基准测试中的默认组成部分。

PDF

许愿