整理了近期在 模型评估、自回归生成、贝叶斯在线学习、LLM Agent 构建 等方向上值得关注的论文，附带简要摘要与链接，方便快速了解研究动向。

1️⃣ Mapping 1,000+ Language Models via the Log-Likelihood Vector

用对数似然向量为 1000+ 语言模型“建地图”

提出使用 预定义文本集上的对数似然向量 作为语言模型的特征向量，用以比较大规模自回归模型。 核心点：

  • 将向量间的 欧氏距离 可视为近似 KL 散度
  • 计算成本随模型数和样本量 线性增长，非常可扩展
  • 特征可直接从模型的 cross-entropy 中获得
  • 在 1000+ 模型上构建了一个“模型地图”，提供模型谱系与能力的新视角

🔗 https://arxiv.org/abs/2502.16173v1

2️⃣ Learning-Order Autoregressive Models with Application to Molecular Graph Generation

学习自回归顺序：在分子图生成上的新 SOTA

针对图结构等“无自然顺序”的数据，提出能 动态学习生成顺序 的自回归模型（ARM）：

  • 引入可训练的 顺序策略（Order Policy）
  • 基于变分下界进行训练
  • 在图像与图数据中学习到有意义的生成顺序
  • 在 QM9、ZINC250k 分子基准上取得 FCD 最佳结果（SOTA）

🔗 https://arxiv.org/abs/2503.05979v1

3️⃣ Scalable Generalized Bayesian Online Neural Network Training

可扩展的广义贝叶斯在线训练方法（适用于顺序决策）

面向需要持续更新模型的在线决策任务，提出一种高效的贝叶斯+频率融合方法：

  • 使用块对角近似实现 快速低秩更新
  • 隐层参数低秩协方差，最后一层全秩
  • 提供明确可用的 后验预测分布
  • 无需 replay buffer，可对网络 所有参数实时更新
  • 在上下文多臂赌博机、贝叶斯优化任务中展现速度-准确性优良权衡

🔗 https://arxiv.org/pdf/2506.11898v2.pdf

4️⃣ Fundamentals of Building Autonomous LLM Agents

构建自主 LLM Agent 的系统性综述

深入分析由 LLM 驱动的智能体应该如何构建，聚焦“让 LLM 有主动性”：

  • 感知系统：将环境输入转化为可理解的表示
  • 推理系统：利用 CoT、ToT 等机制进行计划、反馈评估
  • 记忆系统：短期 + 长期记忆
  • 执行系统：将决策转为行动
  • 展示如何通过模块化方式让 LLM 更接近“软件机器人”，实现复杂任务自动化

🔗 https://arxiv.org/pdf/2510.09244v1.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除