
H3 是一个通用的全模态生成模型,能统一理解由文本、图像、视频、音频组成的多模态上下文,输出带原生双声道的音视频内容,最高支持 15 秒 2K 分辨率(2560×1440),24 FPS。H3 默认提供 2K 分辨率输出,定价 0.8 元/秒(2K 分辨率),是业内同类旗舰视频模型的三分之一,768P 分辨率下不到 1/2。
和前两代模型相比,H3 最大的变化是「打破任务边界」。以往的视频生成模型通常将文生视频、图生视频、主体参考、动作参考、视频编辑拆分成独立模块,图像、视频、音频之间也有清晰的边界。H3 的做法是在预训练阶段就把这些任务统一建模,用自然语言描述任务关系,而不是为每种任务单独训练一个专家模型。
在 Artificial Analysis 视频模型榜单中,H3 在视频编辑能力项排名全球第一。
⬆️关注 Founder Park,最及时最干货的创业分享
我们将通过「AI 产品市集」、内容报道、社群分发等方式,帮你触达早期用户、获得真实反馈,以及建立关键连接。
如果你正在做 AI 相关的事,欢迎和我们聊聊。
01
四项核心技术
H3 的技术架构围绕四个关键模块展开:
Contextual Omni Representation。 这是 H3 投入最大的部分。多模态上下文的引入让传统的 Caption(描述)被重新定义,不仅要描述目标视频本身,还要描述上下文素材之间、上下文与目标之间的关系。为此 MiniMax 定制了专门的全模态理解管线,大部分素材需要消耗 100K Token 的推理,最终压缩为约 4K Token 的表示。语言在其中充当可泛化的连接层,让不同模态的「任务」以开放描述的形式统一起来。
H3-VAE。 这一代彻底重构了前代的 tokenizer 技术,在重建质量和易学性上全面提升。关键数字是 4 倍序列长度压缩,直接降低训练和推理成本,也是支撑原生 2K 分辨率输出的核心技术。
H3-Omni Transformer。 由于多模态上下文的引入,H3 的序列长度方差比前代大了 3 倍,理解和生成部分的计算负载也显著异质化。MiniMax 采用了理解与生成异构的训练架构,精细调优不同 workload 下的硬件利用率,端到端训练吞吐提升近 30%。值得一提的是,团队放弃了曾在 Hailuo 02 上带来显著架构优势的设计,理由是它在「任务泛化」这一核心目标下引入了额外复杂性。用 MiniMax 自己的话说:「架构技巧应为模型定义让路。」
In-context Regeneration。 H3 的 2K 输出没有使用常规的专用超分模块,而是让基模对自己的低分辨率结果进行 in-context 重新生成。好处有两个:最大限度复用基模已有的生成能力;可以再次利用原始多模态上下文信息进行高分辨率输出,从而还原传统超分方案靠「猜」无法恢复的细节,比如小文字和精细纹理。
02
测试案例
根据前期邀测反馈,H3 在以下商业场景中表现突出:
广告和电商方面,H3 的指令遵循能力和文字、品牌信息呈现能力使其适合生成品牌广告素材。V2V Motion Transfer(视频到视频动作迁移)可以将一个视频中的动作风格迁移到另一个场景中。
广告电商
产品设计和 UI/UX 方面,H3 可以生成动态交互原型和游戏 UI 动效。
电影和动态海报方面,原生双声道支持让生成结果可以直接包含环境音、对话和背景音乐。
03
首次开源视频模型
H3 的开源计划有几个值得关注的细节。
首先是动机。MiniMax 提到了三个原因:推动开源社区发展、加速国产芯片适配(H3 设计初期就考虑了多款国产芯片的兼容性),以及方便用户定制自己的版本。
其次是是技术路线的延续。H3 借鉴了文本模型发展中已被验证的方法,包括复杂问题拆解、Reasoning、Scaling Context 和 Muon 优化器,将其应用到多模态理解和模型训练中。这也解释了为什么 MiniMax 在文本模型上积累的开源经验,能够延伸到多模态领域。
MiniMax 表示将在「未来几天内」开放权重,具体的开源协议和模型规格尚未公布。后续还会发布详细的技术报告。
MiniMax 在公告中也坦诚了 H3 目前的局限:多模态上下文理解能力仍有大幅提升空间,后续会推动 H 系列与 M 系列(语言模型)能力的融合;模型规模限制了部分能力的完成度,Scaling 是明确方向;部分场景下画面精细度仍需提升。


AGI 大会完整攻略!两天时间,怎么链接全场投资人、创业者?
对话词元无限:字节系团队、数亿元天使轮,ToB Coding、靠 FDE 拿下数十家大客户
对话洪小平:从大疆出来,做一台「电动轮椅」,终局是具身机器人
全议程来了!景鲲、刘靖康、OpenAI、AMI Labs,还有50+投资机构,都在这里!
转载原创文章请添加微信:founderparker
内容中包含的图片若涉及版权问题,请及时与我们联系删除



评论
沙发等你来抢