领域 ALL
特色 ALL
请选择
速览
今日热度
A Unified Framework for Image-to-3D Part Generation via Variable Granularity
GenAI Other GenAI CV Other CV
2026年10月22日
可控的三维部件生成对于数字资产创作至关重要，然而现有方法缺乏足够的灵活性，难以适配用户多样化的实际工作流——这些工作流对控制粒度的要求各不相同。本文提出 FlexPart，一种统一的图像到三维部件生成框架，可在单一模型中支持可变粒度的几何条件输入。通过门控自适应调制（gated adaptive modulation）技术，FlexPart 无缝融合了异构输入——从稀疏点、密集包围盒，到语义掩码，从而激发出强大的跨模态协同效应。我们还设计了一种非对称几何引导机制，利用强空间先验知识，在不同粒度之间对齐特征表示，既提升了几何一致性，又促进了多任务间的协同优化。在 PartVerseXL 数据集上以掩码为条件进行评估时，FlexPart 相较于 TripoSG + SAM3D 将部件倒角距离（Part CD）相对降低了 16.6%，相较 OmniPart 降低了 10.5%，同时仍保持具有竞争力的整体网格质量。代码已开源，地址为：https://github.com/Gucci233/FlexPart
许愿开讲
PDF
解读
Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success
Embodied AI and Robotics MLMRD Multimodal Intelligence FGCMA
2026年10月22日
机器人基础模型通常需通过成本高昂的闭环 rollout（即在真实或仿真环境中执行完整任务流程）进行评估，因此亟需一种低成本的离线代理指标来衡量模型能力。柏拉图表征假说（Platonic Representation Hypothesis, PRH）指出：随着表征能力不断提升，不同模态（如视觉与语言）将逐渐收敛于同一套对现实世界的统计建模。我们进一步追问：运动轨迹是否构成另一类具备同等地位的模态？换言之，当具身模型的能力持续增强时，其感知表征是否也应趋向于物理运动本身的结构？为验证这一问题，我们提出“感知-运动对齐度”（Sensorimotor Alignment，简记为 $S^2$）——一种无需训练、完全离线的评估指标，用于量化模型感知表征与物理运动几何结构之间的匹配程度。实验发现，$S^2$ 在多种具身模型家族中均与下游机器人任务成功率呈显著正相关，因而可作为一种低成本的离线代理指标，用于在开展耗时耗力的闭环评估前，对候选模型进行优先级排序。此外，$S^2$ 甚至可在尚未对视觉-语言模型（VLM）进行昂贵的微调、将其转化为视觉-语言-动作模型（VLA）之前，便有效识别出具备潜力的VLM骨干网络。除相关性之外，$S^2$ 还能从表征层面解释视觉-语言-动作模型（VLA）及世界动作模型（WAM）中观察到的诸多现象。借助 $S^2$，我们将柏拉图表征假说（PRH）拓展至具身智能体领域，并首次实现了对感知-运动对齐度的实证可测量性，从而不仅揭示了具身模型“为何成功”，更超越了单纯依赖闭环任务成功率的传统评估范式，为理解模型内在能力提供了深层洞见。
许愿开讲
PDF
解读
Reading, Writing, Sharing, and Interacting with the World through Video
Embodied AI and Robotics World Models Multimodal Intelligence LVTU GenAI TDIG SCCE
2026年10月22日
视频基础模型在视觉序列的理解与生成方面已取得迅猛进展，而视频世界模型则致力于捕捉其所表征世界的内在动态规律。尽管二者目标不同，但均聚焦于视频观测与持续演化的世界之间的关系。本综述以“世界建模”为统一视角，系统梳理和审视这一领域的发展脉络。我们将所观测的视频视为潜在时序世界的一种部分性、有损性且按时间顺序排列的投影，并据此将相关文献围绕四项互补性操作进行组织：**读取（reading）**——从观测视频中推断世界属性；**书写（writing）**——依据指定或习得的世界条件合成视频；**共享（sharing）**——通过共用的建模范式，实现对世界理解与视频生成能力的有机融合；**交互（interacting）**——在施加动作及持续接收新观测的前提下，预测并更新世界状态。这一视角明确区分了观测或生成序列所体现的**时间连贯性（temporal coherence）**与潜在世界状态所要求的**一致性（consistency）**。我们进一步从任务类型、表征形式、模型架构、数据集及评测基准等多个维度出发，系统梳理研究重心的演进趋势：即由早期关注片段级识别（clip-level recognition）与感知保真度（perceptual fidelity），逐步转向强调持久性世界状态（persistent state）、可控的动态演化（controllable evolution）、符合物理规律与因果逻辑的有效性（physical and causal validity），以及以交互过程和下游决策为根基的评估范式（evaluation grounded in interaction and downstream decisions）。最后，我们凝练出该领域当前亟待突破的关键挑战。
许愿开讲
PDF
解读
Direct Pass@$k$ Optimization for Thought Pruning: Balancing Quality and Diversity in Test-Time Reasoning
LLM CoT ML ALG
2026年10月22日
测试时缩放（test-time scaling）已成为推理模型的一项关键推理策略，其核心思想是让模型生成大量候选解，以期其中至少有一个是正确的。然而，若对所有候选解均执行至最终完成，计算开销将十分巨大；因此，近期研究提出一种策略：仅生成每个候选解的较短前缀（prefix），便对候选池进行剪枝，后续计算资源仅分配给通过剪枝筛选出的幸存候选解。现有剪枝策略大体可分为两类：基于质量的方法为每个部分解（partial solution）打分，并剔除那些被预测最终将导向错误答案的候选；而基于多样性的方法则倾向于选择遵循不同推理路径的部分解，从而更可能覆盖不同的最终答案。这两类目标之间的张力本质上即“探索”与“利用”的权衡问题；然而，此前关于剪枝的研究几乎从未直接揭示这一权衡关系，更遑论对其进行显式优化。本文提出一种新型剪枝方法，通过直接优化所选解池的 pass@$k$ 指标来应对该权衡问题：具体而言，该方法旨在选取一个部分解集合，使其在全部继续生成至完成之后，其中至少有一个能得出正确答案的概率最大化。由于该优化目标天然地同时奖励高质量的部分解、并惩罚它们之间的冗余性，因此质量与多样性得以由该准则本身自然平衡，而无需依赖额外的、人为设定的折中设计。我们在八个开源权重的推理模型上进行了实验，结果表明，本方法在性能上全面超越现有的基于质量与基于多样性的剪枝策略。尤其当剪枝过程保留中等数量的部分解以供后续生成时，性能提升尤为显著，这凸显了在剪枝阶段直接平衡质量与多样性的重要价值。
许愿开讲
PDF
解读
Phase Transition from Random Features to Fully Trainable Networks
ML NNGTB NN
2026年10月22日
构建精确且计算上可行的近似空间，是科学计算中的一项基础性任务。部分可训练神经网络架起了固定随机特征与完全自适应表示之间的桥梁。本文定量刻画了近似误差界中的一种相变模式，并在训练误差中观察到类似行为：初始阶段性能迅速但平滑地提升，随后收益逐渐衰减；当初始化失配程度更大时，这一转变更为陡峭。在核函数谱衰减服从多项式律（衰减速率指数为 $\alpha > 1$）且满足杠杆兼容性（leverage compatibility）的条件下，我们为宽度为 $m$、可训练比例为 $P$ 的两层网络建立了平方 $L_2$ 近似误差界：$\mathcal{O}\big((\kappa_P \log(m/\delta)/m)^\alpha\big)$。该界在再生核希尔伯特空间（RKHS）单位球面上一致成立，且以至少 $1-\delta$ 的概率成立。其中，常数 $\kappa_0^*$ 和 $\kappa_1^*$ 分别刻画了固定特征组与可训练特征组相对于目标 RKHS 的采样失配程度，而 $\kappa_P = \big(P / \kappa_1^* + (1-P) / \kappa_0^*\big)^{-1}$。对于 $d$ 维球面上的带偏置 ReLU（biased-ReLU）特征，我们验证了上述假设成立，并得到 $\alpha = (d+2)/(d-1)$；当初始化尺度 $\tau \geq 1$ 时，有 $\kappa_0^* = 4\sqrt{2}\,\tau(d+1)/d$；而在采用岭杠杆采样（ridge leverage sampling）时，$\kappa_1^* = 1$。以 $d=5$、$\tau=10$ 为例，仅需约 $4.1\%$ 的神经元可训练，即可实现从 $P=0$ 到 $P=1$ 所能带来的近似误差界降幅的 $90\%$。一个结构化的三层网络示例进一步说明：少量第一层可训练神经元如何通过非线性复合方式，有效利用下游固定的网络模块。大量数值实验——涵盖多种设置，包括深度达 15 层的网络——均展现出训练误差中类似的相变现象。
许愿开讲
PDF
解读
Reliable AI-Assisted Decisions via Selective Auditing
LLM HDCE Agent Human Agent Interaction AI Safety / AI Ethics AVAR
2026年10月22日
我们研究对生成一系列决策的人工智能系统进行在线监控的问题。在每一轮中，该系统不仅输出一个待采纳的决策，还同时提供一个置信度分数，用以评估该决策的可信程度。值得注意的是，决策与置信度分数未必由同一模型生成：例如，可由一个代理（agent）提出决策，而由另一个独立的验证代理对其评估，并输出正确性或安全性得分。基于上述决策与置信度信息，我们必须实时判断：是自动采纳该人工智能决策，还是转而咨询一位专家（例如人类审计员），由其审阅该提议并决定予以采纳或予以修正。我们将这一任务建模为一个在线约束优化问题，其目标是在确保未经审核的AI错误决策所占比例严格低于用户预先设定阈值的前提下，尽可能降低专家人工审核的频率。我们推导出一族具备严格误差控制保证的算法——这些保证无需任何数据分布假设；其中一种方法具有最优效率：它在渐近意义上，无论面对对抗性数据流还是独立同分布（i.i.d.）数据流，均能达到理论上可实现的最低审核率。在针对大型语言模型有害请求筛查、定性文本标注以及数据打标等任务开展的实验表明，我们的方法在实践中切实实现了符合要求的误差控制，同时相较于各类基线方法，显著减少了对人工审核的依赖。
许愿开讲
PDF
解读
OpenTac: An Open Ecosystem for Customizable, Scalable, and Transferable 3D Tactile Sensing
Embodied AI and Robotics Tactile Sensing Flexible E-skin
2026年10月22日
我们提出了OpenTac——一种新型触觉传感器，以及一套面向触觉皮肤的全栈式生态系统。该系统具有高度可定制性、良好的可扩展性，并能便捷地部署于下游机器人控制与学习任务中。我们的核心贡献包含两方面： 第一，我们研制了一种可扩展的电阻式触觉皮肤，其表面覆盖一层结构化可变形层，能够将切向载荷转化为空间分布变化的压力信号；相邻“触觉像素”（taxels）间的差分响应可用于解码局部剪切力矢量，而所有taxels的共模响应则编码了法向力； 第二，我们提供了一套高度可定制的传感器设计工具，该工具可根据二维轮廓线或可展三维曲面（甚至包括抽象描述，例如“为美码9号鞋垫设计一款传感器”）自动生成触觉皮肤的加工制造文件。 围绕OpenTac传感器，我们构建了一整套技术生态体系，涵盖CAD设计工具、传感器仿真器、跨传感器迁移能力，以及快速/自适应数据采集功能。我们通过为多种机器人本体设计并实际制备超过30种不同形态的传感器，充分验证了OpenTac-CAD传感器设计工具的广泛适用性。我们利用商用高精度六维力/力矩传感器，对OpenTac所生成的三维触觉场进行了系统表征。进一步地，我们在四种真实机器人平台上，展示了三维触觉感知在接触密集型反馈控制与操作策略学习任务中的普适性应用效果。此外，得益于自适应采集机制，系统可在每轮更新仅读取16个taxel的情况下，实现千赫兹级的部分读出速率；对于拥有1024个taxel的触觉皮肤而言，该速率相较传统全阵列逐行扫描方式提升了19.2倍。全部硬件设计、软件代码及实验演示视频均已开源发布于opentac.github.io。
许愿开讲
PDF
解读
SpectralCanary: Embarrassingly Simple Low-Frequency Traces for T2I Dataset-Use Auditing
GenAI TDIG AI Safety / AI Ethics DWAT RA
2026年10月22日
对文生图（T2I）模型是否在特定图像集合上进行过微调开展审计，难度较大：模型可能吸收整个数据集层面的视觉特征，却并不直接复现训练图像。主动式数据集使用审计（proactive dataset-use auditing）则是在数据集发布前，预先向其中所有图像嵌入一个共享的可检测信号；待后续审计时，再检查可疑模型所生成的图像中是否含有该信号。现有方法往往难以兼顾可验证性、保真度、鲁棒性与实际部署可行性。本文提出 **SpectralCanary** 方法：它采用平滑的低通滤波掩模，将一幅固定的“金丝雀图像”（canary image）无缝融合至数据集中的每一张图像之中，同时保持原始文本描述（caption）完全不变，且无需额外的辅助生成过程，也无需对每张图像单独优化。其配套的轻量级验证器（verifier）可高效检测可疑模型输出中是否成功继承了该嵌入信号。在基于宝可梦（Pokemon）数据集开展的八组测试，以及涵盖两类主流模型架构、三种真实场景数据变换（如压缩、裁剪、色彩调整等）的综合评估中，SpectralCanary 在各项方法中取得了最高的平均单图检测性能——即在1%假阳性率（FPR）约束下的真阳性率（TPR@1% FPR），达91.1%；同时，在仅需30次生成样本的前提下，其模型级判别准确率（采用固定阈值）亦达94.8%，同样位居榜首。进一步地，在涵盖艺术、医学、卫星遥感和时尚四大领域的五个不同数据集上，结合SD3.5模型进行测试，SpectralCanary 的平均单图检测性能（TPR@1% FPR）仍高达92.4%；与此同时，其对原始发布图像的视觉保真度极佳：结构相似度（SSIM）达0.989，感知图像块相似度（LPIPS）仅为0.022，且弗雷歇起始距离（FID）的均值变化（mean ΔFID）趋近于零，仅为0.05。在宝可梦与ROCOv2数据集上开展的等能量消融实验（matched-energy ablations）进一步验证了我们的设计选择：相比中频或高频嵌入，将信号置于低频区域能更稳定、更可靠地实现跨模型传递。在所评估的各类自适应攻击下，最有效的信号清除手段需采取激进的图像修改策略，但由此引发的FID恶化幅度超过25个单位（ΔFID > 25）。综上，本研究结果表明：低频视觉信号是承载面向数据集层级的文生图模型审计痕迹（audit trace）的一种高效且稳健的载体。
许愿开讲
PDF
解读
Cost-Aware Abstention for LLM-Based IT Ticket Classification
LLM HDCE NLP Other NLP ML SL Other ML
2026年10月22日
错误地自动分派IT支持工单所造成的成本，可能高于人工初步分拣的成本。本文将“成本感知型拒绝决策”（cost-aware abstention）作为一种离线的、以成本为条件的就绪性评估方法进行评估：即先在标定数据集（calibration data）上，依据显式设定的各项成本，选定一种路由策略；随后将该策略“冻结”（即不再调整），仅在独立保留的测试数据集上进行一次最终评估。在一个公开的、包含47,837个工单、涵盖八个类别的语料库上，我们对比了四种经训练的非大语言模型（non-LLM）分类器与四种大语言模型（LLM）在零样本（zero-shot）和少样本（few-shot）提示下的表现。在示例性成本模型（正确分派成本c_ok、人工分拣成本c_triage、错误分派成本c_wrong）=（0, 1, 5）下，采用TF-IDF特征表示并结合逻辑回归分类器、且在标定阶段选定0.60为置信度阈值的方案，可将测试集上的平均单位工单成本由0.763降至0.472，实现38.1%的相对降幅（成对比率自助法95%置信区间为[35.7%, 40.4%]），同时将错误分派率从15.3%显著降低至3.5%。此外，在后续开展的成本参数敏感性分析中，针对16种不同成本组合设置，基于标定数据选定并冻结的路由策略，在其中14种设置下，其性能均优于“一律分派”（always-route）和“一律推迟”（always-defer）两种基线策略。在按类别均衡抽样的1,000个工单构成的测试子集上，表现最优的提示式（prompted）配置达到0.477的准确率；而同一测试子集上经微调的DistilBERT模型准确率为0.879。等渗校准（isotonic calibration）虽能有效降低期望校准误差（Expected Calibration Error, ECE），却未能稳定提升判别能力（discrimination）：例如GPT-4o-mini在少样本提示下的校准前后，其置信度分布均仅呈现单一取值，且正确性AUROC（即预测正确与否的受试者工作特征曲线下面积）仅为0.500。因此，本文除报告ECE外，还同步呈现正确性AUROC以及兼顾“并列结果”（ties）的风险–覆盖率面积（risk-coverage area）。在理论推导得出的盈亏平衡概率（break-even probability）0.80处，七种提示式配置均选择对全部工单执行“推迟处理”；而Haiku模型的少样本提示配置则仅对1,000个工单中的19个执行路由分派。为进一步区分模型校准能力与判别能力，我们还设计了纯大语言模型的一致性控制实验（LLM-only agreement control），以及基于置信边际（margin）和熵（entropy）的拒绝基线（rejection baselines）。需要强调的是，本研究的结论严格限定于当前所用数据集、提示工程设计、模型服务端点（model endpoints）以及上述示例性成本设定；本工作本质上是一项评估框架的构建与验证，而非提出一种新的拒绝决策算法，亦不构成面向通用场景的部署认证标准。
许愿开讲
PDF
解读
METTA: Memory-Enhanced Test-Time Adaptation for Meta-Reinforcement Learning
Agent Agent Memory ML RL ML
2026年10月22日
元强化学习旨在训练智能体，使其仅通过少量交互即可快速适应未曾见过的新任务；但这一目标要求智能体能够对较长交互历史中的任务线索进行有效表征。传统循环神经网络类智能体将经验压缩为隐状态，而基于Transformer的智能体则需从过往轨迹中检索信息，其内存与计算开销均为序列长度的平方级。本文提出一种面向元强化学习的记忆增强型测试时自适应方法（Memory-Enhanced Test-Time Adaptation, METTA）。该方法将快速自适应阶段解耦为两个时间尺度：其一，采用具备因果性的神经记忆模块，以线性序列复杂度实现细粒度的“单回合内”（within-episode）自适应；其二，借助紧凑的“回合级”摘要表示，支持跨回合的长程任务推断，无需对全部交互历史执行注意力计算。此外，为智能体配备神经记忆不仅提供了充分的表达能力，还赋予其在测试阶段持续训练的能力，从而使其在元测试阶段能高效适应未见过的预留任务及任务族。在未见过的Meta-World ML10/45预留测试环境中，METTA在保持较低训练预算与较短实际运行时间的前提下，成功率达50%以上；在长上下文、稀疏奖励的PointMaze任务上，METTA展现出更具结构化的探索行为，性能显著优于基于Transformer的基线方法。上述结果表明，METTA为构建更自适应、更可扩展的长上下文元强化学习系统提供了一条高效可行的技术路径。
许愿开讲
PDF
解读