新闻 | 前沿计算研究中心2023级硕士毕业论文答辩顺利完成

随着具身智能研究的快速发展，机器人仿真平台已成为算法验证、数据采集与策略训练的重要基础设施。然而，现有仿真框架普遍存在构建效率低下、仿真后端绑定、场景配置繁琐及功能扩展困难等问题，研究人员需要投入大量工程精力用于仿真环境的搭建与维护。针对上述挑战，本文设计并实现了 FastSim——一个面向快速构建的配置驱动仿真框架。

 实验评估从多个层面验证了 FastSim 的设计目标。在构型支持方面，16种涵盖单臂、双臂、四足、双足人形及轮式移动等构型的机器人通过统一的 ModularRobot 配置机制成功接入。在开发效率方面，针对包含8步长程任务（导航、抓取、放置、开关门、旋钮、按钮）的复杂场景，FastSim 以265行配置文件实现了与 IsaacLab 1262行、MuJoCo 1017 行、PyBullet 956 行 Python 代码等效的功能；针对包含 VR 遥操作、域随机化、任务评估、数据录制、ROS 桥接等6个子系统协同的数据采集工厂场景，FastSim 以242行配置实现了与 OmniGibson 913行、RoboVerse 577行等效的功能，且等效实现仅覆盖了 FastSim 功能的子集。在应用案例方面，基于 FastSim 构建的自动化三维扫描流水线为 NBV 策略研究提供了大规模训练数据，训练的 Score-based 策略在1000个未见物体上达到 AUC97.85 和 CR@1098.76%；基于 𝜋0  模型的 Sim2Real 联合训练实验表明，仿真数据与少量真机数据的结合可将任务成功率从0%提升至50%，并增强了模型对未见物体的泛化能力。

本论文针对具身人工智能中的一个持续性约束展开研究：当前视觉语言模型虽然能够以看似合理的方式述场景，却很少显式给出实现安全而精确行动所必需的结构化、具基础性的变量。本文表明，面向具身操作的可行动空间理解依赖于一个统一框架，该框架能够系统地整合几何基础对齐与功能基础对齐。在这一框架下，SpatialBot 通过将 RGB-D 感知与可查询的深度信息连接起来，建立了几何基础对齐，从而支持基于度量和接触敏感的推理。ManipVQA则通过统一的视觉问答过程学习动作条件下的可供性区域以及与操作相关的物理概念，对这一方法形成互补。基于共享的任务分类体系和面向接口的评测方式，本文以显式且可检验的形式考察了依赖深度的空间推理、可供性基础对齐、物理概念预测以及向具身任务的迁移。实验结果表明，几何基础对齐能够直接升深度、接触和空间关系判断能力：SpatialBot 在 SpatialBench 的深度任务族上取得了超过99%的准确率，并在采用 RGB-D 输入时将真实机器人抓取与放置任务的成功率高了33.8个百分点。与此同时，ManipVQA 在可供性基础对齐和物理基础对齐方面也表现出稳健性能，包括在 HANDAL 上取得0.65的 grounded-affordance mask AP50，在 PhysObjects 上取得89.4%的平均准确率，并在固定的 SAPIEN 操作脚手架下取得0.63的成功率。总体而言，这些发现验证了本文的核心观点：几何基础对齐与功能基础对齐的整合，能够将视觉语言模型从被动的场景述器转变为能够支持可行动、可验证且有效的具身行为的系统。

机器人遥操作为推进人机交互提供了重要框架，构建了人类意图与精确机器人操控之间的桥梁。现有的基于视觉和表面肌电（sEMG）的接口已尝试解码人类运动意图以用于遥操作。然而，当前模型通常受到高推理延迟、庞大数据需求以及累积误差的限制，导致预测姿态逐渐偏离真实的手部位置。

为解决上述局限性，本文提出了一种新颖且直观的系统，利用可穿戴的16通道 sEMG 腕带实现实时姿态预测及机器人灵巧手的控制。我们采集并验证了一个同步的20至23小时 sEMG 与动作捕捉的动作基元数据集，为我们的模型训练提供了稳健的支持。针对长程预测的不稳定性，我们引入了动态位姿速度预测（DPVP）机制，该机制自适应地融合直接空间位置预测与积分速度路径，以纠正累积漂移。为在训练过程中强化结构准确性，我们还实现了一种针对特定关节的加权损失函数，赋予近端关节角度更高的优先级。

最后，我们将这些创新封装于一个高度优化的实时控制系统（RCS）中。利用 ONNX 格式模型和多线程优化，该RCS能够通过用户数据报协议（UDP）向机器人硬件保证流畅且稳定的50Hz传输速率。

最终，本研究结合新提出的正运动学评估指标，为精确的机器人遥操作提供了一种具有成本效益、低延迟且直观的交互接口。

面向生产部署的扩散图像生成系统需要同时控制质量、延迟、显存占用与鲁棒性。本文研究一种面向角色生成的、以路由为核心的编排架构，并提出在部署约束下评估复合扩散流水线的系统级方法。该系统统一了 T2I 与 I2I 两类路由，集成了 LoRA 特化、ControlNet 深度条件、IP-Adapter 图像条件、可选的大语言模型提示增强，以及带有 TensorRT 部署路径的 Real-ESRGAN 超分辨率阶段。本文在 T2I、人脸迁移、风格迁移和人脸+风格迁移四类任务上构建结合代理指标、校准 VLM 语义检查与运行时分析的受控评估框架。结果表明，不存在在所有目标上同时占优的单一路由。对于 T2I，Base LoRA 具有最强的实际成本收益，而 ControlNet 在需要更强结构一致性和鲁棒性时更合适，但其运行时和显存代价明显更高。对于 I2I，Baseimg2img 家族是更安全的默认选择，因为其延迟略低、显存更小且稳定性更好；IP-Adapter 只在较窄的参考条件场景中更有意义，前提是其任务特定的质量收益能够抵消额外的显存与风险。外部基线比较表明，内部系统相对 Talkie（一个商业角色生成平台）与 OpenAI 仍然更快，但质量表现仍然依赖具体任务。上采样实验表明，TensorRT 可以降低推理延迟，但在当前测试配置下并未降低稳态显存占用。本文的主要贡献是一个可评估的编排架构，以及一套可复现的系统方法，用于依据质量、鲁棒性与效率证据选择扩散路由。

本文研究复杂视觉推理任务中的主动观察与多步决策问题，目标是让模型从被动的一次性预测转向可追踪的“观察—解析—决策”过程。现有视觉模型虽然已经具备较强的视觉语义表达能力，但在重复计数、局部证据冲突、全局一致性维护以及中间状态不可追踪等问题上仍存在明显不足，因而在需要精确结构输出和多步闭环求解的任务中往往表现不稳。针对这一问题，本文提出一种基于强化学习的端到端视觉线索推理框架。该框架由区域选择模块与内容解析模块组成，分别学习“下一步看哪里”和“当前区域看到了什么”，并通过“监督预训练+强化学习优化”的两阶段训练主线，在统一链路内协同完成观察顺序学习与局部内容解析。

随着人工智能与医学影像技术的不断融合，如何提升计算机辅助诊断的可靠性与可解释性已成为医学人工智能领域的重要研究方向。当前主流深度学习模型往往依赖训练数据中的统计相关性，而非疾病发生机制中的因果关系，容易受到设备标记、背景模式等伪相关特征的干扰，从而在分布变化或真实临床环境中产生性能退化甚至误诊。这一问题的根本原因在于，现有方法大多停留在相关性层面的解释或对齐，未能从机制上约束模型的决策路径，使其与医生的因果推理逻辑保持一致。

为了克服上述问题，本文提出了一种基于因果对齐的医学影像诊断方法。该方法面向多类型病灶影像及复杂临床场景，针对实际诊断中常见的病灶边界模糊、属性特征多样化及非病灶区域干扰等问题，构建了一个因果对齐框架，旨在使模型的决策机制与放射科医师的因果推理路径保持一致，从而提升模型的可靠性与临床可解释性。

随着生成式人工智能技术的快速发展，扩散模型（Diffusion Models）已成为计算机视觉领域的重要研究方向。现阶段大部分扩散模型的研究主要聚焦于图像、视频等内容的生成任务，而忽略了扩散模型在推理任务中的潜力。本文围绕扩散模型在视觉关系推理中的应用展开研究，针对不可见物体轨迹预测问题提出了创新性的研究框架。针对不可见物体轨迹预测任务，本文提出了一种时空假设生成与测试框架（Spatial Temporal Hypothesis Generation and Testing Framework, ST-HGT），根据可见物体的运动轨迹推断被其容纳或遮挡的视觉上不可见目标物体的未来运动路径。该框架可以采用自监督方式进行训练，无需物体间关系的人工标注。