报告主题：Bunny-3B: Achieving New SOTA of Small MLLM via Dataset Condensation
报告日期：2月28日（周三）14:00-15:00
主题简介：
近期，国内外多家机构发布了多款小语言模型，并由此衍生出了一系列多模态小模型，揭开了多模态小模型全面竞赛的序幕。多模态小模型因为训练和部署成本低，吸引了更多玩家参与其中，将促进大模型技术快速发展和普及。 受到参数量的限制，多模态小模型的性能下降严重。针对这个问题，BAAI 首次提出了通过数据浓缩技术获得高质量训练数据，从而提升多模态小模型性能的方案。团队基于相关技术得到更丰富的预训练数据和更高质量的指令微调数据，从而训练得到性能强劲的小模型。
基于这一技术路线，BAAI推出新一代多模态小模型 Bunny 系列。其中，Bunny-3B 取得了全新SOTA，性能全面碾压 7B 以下模型，在多个基准上超越了 Imp、LLaVA-Phi、MobileVLM 等一系列近期热门模型，取得了与 LLaVA-v1.5-13B 等大模型相当的多模态理解和推理能力。
报告嘉宾：
何沐阳，北京大学2022级硕士生，北京智源人工智能研究院数据智能组实习生。主要研究方向包括数据压缩与多模态模型。
 
扫描下方二维码
或点击「阅读原文」报名

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除