在多模态模型中，差异较大的异质模态数据朝着统一优化目标被同时训练，那么各个模态间的关系是竞争还是合作？训练的更快更好的模态会对相对较弱的模态起到指导作用还是抑制作用？如何合理的调整不同模态训练进程使之能够取长补短，从而达到整体最优，是一个值得去探究的问题。

最近，本实验室针对这一问题提出了一种新的多模态优化方法，使得多模态模型能够针对自身模态间的训练差异做出自适应评估，并对梯度进行针对性调控以实现更平衡的优化进程。目前这一成果已被CVPR2022接收并选为Oral Presentation，相关代码已经开源。

论文标题：

Balanced Multimodal Learning via On-the-fly Gradient Modulation

论文链接：

https://arxiv.org/abs/2203.15332

项目地址（已开源）：

https://github.com/GeWu-Lab/OGM-GE_CVPR2022

内容中包含的图片若涉及版权问题，请及时与我们联系删除