机器智能前沿论坛·第2期 | 伪装场景感知及多模态应用

个人简介：ETH Zurich研究人员，任CVPR 2023领域主席、MIR编委。在国际顶级期刊发表8篇TPAMI论文、获2次CVPR最佳论文提名，谷歌学术总引用1.1万余次，两次入选斯坦福全球前2%顶尖科学家，获CCF优博、吴文俊优秀青年奖。

报告简介：

本次报告主要介绍基于视觉系统识别伪装目标的基本流程，设计了一个基于"深度梯度"的框架DGNet用于解决伪装目标检测任务。得益于简单而高效的结构设计，该模型仅有当前尖端模型JCSOD 6.82%的参数量，并且在80fps推理速度下大幅超越了现有的前沿伪装目标检测模型。在医学息肉分割、工业缺陷检测和透明目标分割下游应用上的结果也展示了该模型优异的拓展性能。

报告简介：

近年来，由于缺乏具有大规模细粒度分割标签的数据集，视频息肉分割研究领域的发展并不顺利。为解决上述问题，本文首次引入一个具有逐帧标注的高质量视频息肉分割数据集，名为SUN-SEG。其次，本文设计了一个简单且高效的基线模型，名为PNS+，并在SUN-SEG数据集上取得了最佳的性能和实时的推理速度，超越了13个经典的息肉/目标分割模型。

报告简介：

近年来，伪装场景理解在计算机视觉领域受到很多关注。在这个工作中，我们提出了一个新的任务，伪装场景计数（COC），以推进该领域的进步。COC的目标是统计和背景环境区分度不大的物体的数量。由于缺乏合适的COC数据集，我们提出了一个大规模数据集IOCfish5K，它总共包含5,637张高分辨率图像和659,024个标注中心点。我们的数据集拥有大量在水下场景中难以辨认的物体（主要是鱼）。IOCfish5K有以下几个特点：大规模，高图像分辨率，大量标注，场景密集。为了进行基准测试，我们选择了14种主流的物体计数方法，并评估它们在IOCfish5K上的性能。此外，我们提出了一个新方法IOCFormer，它将密度计数方法和回归计数方法结合在一个统一的框架中，可以有效地解决隐藏场景下的物体计数问题。实验表明，IOCFormer在 IOCfish5K上取得了最先进的性能。

报告简介：

在计算机视觉领域，伪装目标检测（COD）主要关注自然届（动物/昆虫）和人工的伪装目标。我们注意到植物伪装也是自然伪装中重要的组成部分，而这点却被相关研究者忽略。因此，本报告探索了植物伪装检测这一具有挑战性的新问题。我们提出了PlantCamo数据集，它包括1000+植物伪装图像，涵盖了50+个类别的植物。基于数据及实验分析，我们为未来工作提供了一些有趣的发现和灵感。

报告简介：

多模态被认为是实现通用人工智能的关键路径之一。报告重点介绍多模态表征和生成技术动态和相关应用。多模态表征方面，针对模型部署困难和图像侧欠拟合问题，提出了端到端-生成式预训练模型MVLT。跨模态生成方面，针对控制粒度不足问题，探讨多模态对齐相关工作。结合个人经历，介绍多模态技术在电商领域的应用实践。

个人简介：杰青、南开大学杰出教授。论文谷歌引用4万余次，单篇最高引用4700余次，多次入选全球高被引科学家和中国高被引学者。现担任中国图象图形学学会副秘书长、天津市人工智能学会副理事长和SCI一区期刊IEEE TPAMI, IEEE TIP编委。