机器智能前沿论坛·第7期 | 多模态智能感知与表征学习

张辉，1983年生，博士、二级教授、博士生导师，现任湖南大学人工智能与机器人学院院长、湖南大学未来技术学院院长、视觉感知与控制技术国家工程研究中心副主任，入选国家高层次人才计划，兼任科技部“十四五”智能机器人专项专家组成员、中国自动化学会常务理事、中国图象图形学学会副秘书长。长期从事机器人视觉检测、图像识别与智能制造等研究。主持国家重点研发计划、科技创新2030重大项目等20余项，发表论文66篇，授权发明专利52项。以第一完成人获湖南省科技进步一等奖(2022–2023)、二等奖(2019)、中国商业联合会科技进步一等奖(2019)，作为主要完成人获国家技术发明二等奖(2018)、国家级教学成果奖二等(2022)等省部级以上奖励20余项。

范登平，南开大学教授、博导，计算机科学与技术系主任，入选国家级“四青”人才，曾在瑞士苏黎世联邦理工学院担任博士后、曾任阿联酋起源人工智能研究院研究主管。研究方向为计算机视觉、认知计算和医学图像分析。在伪装场景理解方向上有突出成果，谷歌学术引用33,000+次，H指数62，7篇论文单篇引用超1300次(最高5900余次)。是CSIG杰出会员、CCF-CV执行委员，担任MIR/IEEE TIP (SCI 1区)编委、CVPR'23-26/NeurIPS'24-25/MICCAI'24-25领域主席，获得CCF优秀博士学位论文奖、吴文俊优秀青年奖、吴文俊人工智能科学技术奖自然科学二等奖(排四)，2021-2024连续四年入选斯坦福全球前2%顶尖科学家榜单、入选2024和2025年斯坦福全球前2%“终身科学影响力榜单”。

讲者简介：

赫然，中科院自动化所多模态人工智能系统全国重点实验室研究员，IAPR/IEEE Fellow，IEEE TIFS副主编。从事人工智能、模式识别和计算机视觉研究。承担国家青年科学基金ABC类以及北京杰出青年科学基金等项目。在本领域国际主流期刊TPAMI和IJCV上发表论文23篇，第一作者11篇论文引用过百；研究工作获CAAI技术发明一等奖、CSIG自然科学一等奖、北京市科技进步二等奖等。指导学生获得IEEE SPS最佳青年论文奖、ICPR最佳科学论文奖、北京市优秀博士论文、中科院优秀博士论文、IEEE生物特征理事会优秀博士论文。曾/现任TIP资深编委、TPAMI\TCSVT\TBIOM\IJCV\PR\TMLR和自动化学报等国内外期刊编委，四次获最佳编委奖，以及NIPS\ICML\ICCV\CVPR\ECCV\ICLR\AAAI\IJCAI等会议领域主席。

报告简介：

近年来，以GPT-4o为代表的多模态基础大模型已成为新的研究热点，尤其是基于大语言模型进行多模态感知与推理，不断涌现的新能力显示出了通向通用人工智能的潜力。本报告梳理从大语言模型和视觉基础模型到多模态基础大模型的发展脉络，围绕多模态基础大模型的数据、评测、架构、训练和应用等方面展开全方位阐述，并探讨目前存在的问题以及未来的发展方向。

讲者简介：

马佳义，武汉大学电信院教授、博导。研究方向为计算机视觉、信息融合等。发表CVPR、ICCV、IEEE TPAMI、IJCV、Cell等中科院一区/CCF A类论文200余篇，获钱学森论文奖、Information Fusion最佳论文奖，谷歌学术引用四万余次，H指数92。曾获湖北省自然科学一等奖(序1)，担任Information Fusion、IEEE TIP、IEEE/CAA JAS等期刊AE。

报告简介：

图像融合技术旨在将来自不同源图像中的互补信息集成于一体，生成一幅能够全面表征成像场景的融合图像，从而显著提升目标识别、场景感知与环境理解的能力。本报告以应用导向的多模态图像融合为核心，剖析该领域当前面临的挑战与发展机遇，并系统介绍若干代表性方法。重点围绕未配准多模态图像融合、高低层视觉任务协同下的图像融合、具备退化鲁棒性与文本控制能力的图像融合等方向展开讨论，同时结合典型应用场景，展示其实际价值与广阔的应用前景。

讲者简介：

江俊君，哈尔滨工业大学计算学部长聘教授、博导，人工智能学院副院长，入选国家级青年人才计划。2014年12月于武汉大学计算机学院获得博士学位，2016年至2018年在日本国立情報学研究所担任特任研究员。研究方向主要包括图像处理、计算机视觉、深度学习。相关研究成果发表IEEE Transactions期刊论文和CCF A类会议论文百余篇，发表论文被谷歌学术引用2.2万次，H因子为67，入选全球高被引科学家、全球前0.05%顶尖科学家等榜单。担任Information Fusion期刊编委（2024年获最佳编委奖）、Fundamental Research和IEEE/CAA JAS期刊青年编委。曾获吴文俊人工智能优秀青年奖和中国计算机学会优秀博士论文奖。主持国家重点研发计划课题、国家自然科学基金联合重点/面上/青年项目。

报告简介：

近年来，由于深度学习技术的兴起和飞速发展，利用大规模标注数据进行监督学习在封闭场景的特定计算机视觉任务上的性能取得了突破性的进展，与此同时这些方法的性能也日趋饱和，其发展面临来自真实开放世界等应用挑战。针对野外环境下无人平台的多模态融合与感知这一重大需求，我们围绕小样本、弱标注、多源异构和跨场景等关键核心问题开展研究工作，将为复杂环境下无人平台的智能感知与自主决策提供技术支撑。报告将主要聚焦团队近年来在开放场景下的多模态信息融合与感知相关方面的主要研究成果。

相关论文：

哈工大江俊君团队 | SCNet：利用全1X1卷积实现轻量图像超分辨率

哈工大江俊君团队 | DepthFormer: 利用长程关联和局部信息进行精确的单目深度估计

讲者简介：

罗娜，博士，中国科学院自动化研究所副研究员，硕导，脑网络组与脑机接口北京市重点实验室副主任，太原理工大学兼职教授。主要聚焦于多模态智能计算与精准精神医学交叉领域，重点开展基于人工智能的多源异构生物医学数据融合算法构建，及其在精神障碍客观诊疗体系构建中的转化应用。主持国家自然科学基金、国家重点研发计划子任务、博士后科学基金等多项科研项目。在包括Trends in cognitive Sciences, Ebiomedicine, The British Journal of Psychiatry等本领域重要期刊发表论文30余篇(第一或通讯作者论文16 篇)。曾入选中国科学院青年促进会培养计划、博士后创新人才支持计划等人才项目。现担任中国图象图形学学会脑图谱专委会委员，中国人工智能学会脑科学与人工智能专委会秘书长。

报告简介：

脑疾病的早期诊断和精准干预一直是临床研究的难点和重点，而多模态融合方法能够融合脑结构、脑功能、基因等跨模态的多源异构信息，为脑疾病的智慧诊疗提供了重要角度。本报告将首先总结面向精神疾病诊疗的常用多模态融合方法，以及如何融合多模态信息构建数字孪生脑，最后将介绍多模态融合方法在脑疾病诊断标记以及神经调控治疗靶点的应用。

相关论文：

欧洲科学院院士蒋田仔团队 | 脑成像数据的多模态融合: 方法与应用