过去几天，前沿大模型迎来一轮密集开源：8月26日晚上阿里巴巴发布Qwen3.8-Flash-Next，智谱开源了GLM-5.3-Flash，8月27日下午腾讯开源新的Hy4 preview大模型。三款模型均采用MoE架构，却分别带来了全新的注意力与连接结构、复杂的混合注意力部署，以及770B超大参数规模等不同挑战。

在模型接连发布的同时，众智FlagOS社区连续完成三轮多芯适配：Qwen3.8-Flash-Next与GLM-5.3-Flash实现发布当日Day0，Hy4 preview随后完成多芯版本发布。适配范围覆盖平头哥、英伟达、摩尔线程、华为昇腾、沐曦、昆仑芯、海光、天数智芯、清微智能、曦望等10款AI芯片，并根据硬件能力提供BF16、FP8、INT8等版本。相关模型已陆续发布至魔搭和Hugging Face，开发者可直接获取对应芯片版本。

三次工作并非只是三场独立的模型适配：

四天之内连续完成三款前沿模型的多芯发布，意味着FlagOS的Day0已不再是依靠单次集中攻关完成的项目，而正在成为一套能够持续响应模型演进、复用公共技术资产（FlagOS）、支撑多款芯片并行交付的系统能力。

这也是本轮连续Day0更值得关注的地方：前沿模型仍在快速改变，而多元算力开始具备与模型同步演进的可能。

一、三款模型，是对跨芯软件栈的三场不同“压力测试”

三款前沿模型：新架构与更大的参数规模

三款模型均为MoE架构，在参数规模、注意力架构和能力侧重上各有取向：

Qwen3.8-Flash-Next被认为是Qwen4架构的早期预览版，它从注意力、残差、Embedding、优化器四个方面做了系统性升级，在提升模型能力的同时进一步优化计算效率、模型容量与训练稳定性。相比于Qwen3.7-Plus，Qwen3.8-Flash-Next显著降低了训练与推理成本，训练开销仅约为前者的1/9，但在编码和办公任务上却具有更强的能力。

GLM-5.3-Flash是GLM-5系列的首个原生多模态模型，能力超过GLM-5.2，在全球权威的Artificial Analysis Intelligence Index（AA 综合智能指数）中取得57分，进入全球前沿模型能力区间，与Claude Opus4.8得分持平。在自研Z.ai Code Bench体感评估中，其编程表现与Claude Opus4.8相当。

Hy4 preview是腾讯混元团队推出的新一代旗舰MoE大模型。相比总参数295B、激活 21B、256K上下文的Hy3，它在模型尺寸、上下文长度、数据规模上都做了显著扩展，并通过与腾讯内部软工、游戏、金融、安全等领域专家的高质量数据共建，把提升重点放在真实生产力任务上。

新架构的适配挑战与系统优化

1、Qwen3.8-Flash-Next：新增8个融合算子，并完成CUDA Graph完整入图

Qwen3.8-Flash-Next引入了QSA稀疏注意力、Gated Residual、N-gram Embedding 三类新结构，FlagOS原有算子库尚未覆盖，这是本轮跨芯适配的主要挑战。FlagOS团队新增8个基于Triton的算子覆盖这三类结构：3个面向Hyper-Connection（HC，Gated Residual多分支门控读写的推理侧实现）、3个面向QSA、2个面向PLE state（N-gram Embedding的查表状态）的gather/scatter，并通过多芯片编译器FlagTree高效适配到多款AI芯片上。本次新增的所有算子，都适用于基于vLLM框架的Qwen3.8-Flash-Next的高效推理，用户可以从FlagOS技术栈的FlagGems-vLLM算子库获取。

  • FlagGems-vLLM算子库：https://github.com/flagos-ai/FlagGems-vllm

算子融合是收益的主要来源，其中Hyper-Connection贡献最大。 原本门控注入环节要经过div、sigmoid、两次mul、add共5个独立Torch kernel，融合为1个后，96个 module累计减少384次调用；三个HC kernel的融合叠加起来，每步能省下约6.3ms，占计算侧总收益的七成以上。QSA侧对sparse GQA做了tile调整与gate epilogue融合，12层单次调用从213.62 μs降到108.67μs，整体贡献约1.3ms。加上MoE专家调度（fused expert本体更快，扣除align/routing开销后净收益约0.6ms）与dense/projection路径复用英伟达原生fast path（约0.5ms），整条计算路径每步累计节省约8.66 ms。

但算子提速不等于端到端的提速。FlagOS在算子之上多了一层Python与FlagGems的 dispatch，逐kernel的host launch开销会把上面这些计算收益重新抵消掉。要把算子级收益转化为端到端收益，还需要将metadata构造纳入CUDA Graph，因此新增和改写了 3个metadata kernel（QSA metadata构造、common slot mapping与computed-token计算）。如果单独放在原生版本上只有+0.93%的提升，而在FlagOS上从部分入图到完整入图带来+7.46%。这几个metadata kernel本身的GPU计算量很小，它真正的作用是消除框架侧的launch抖动和跨rank到达偏差，让前面的算子融合收益能在端到端结果中真正体现。

这套架构会延续到后续的Qwen4模型族，因此新增的QSA、Hyper-Connection、PLE算子，以及围绕CUDA Graph完整入图积累的metadata kernel与调度经验，都可以直接复用，但仍需结合模型实现重新验证。FlagOS团队也把这8个融合优化算子提交到了vLLM上游社区。

https://github.com/vllm-project/vllm/pull/53909

此外，在长序列任务精度对齐评测中，FlagOS团队还发现一个上游精度缺陷：GDN Packed Decode路径中beta的FP32计算结果被不必要地舍入回BF16，在长序列解码中造成循环状态误差累积，已合并至vLLM上游。

https://github.com/vllm-project/vllm/pull/53877

2、GLM-5.3-Flash：插件层承接混合注意力的多芯片差异

GLM-5.3-Flash的线性+稀疏混合注意力在不同芯片上可用的并行切分方式与执行模式存在差异，各芯片单卡可用显存的差别也直接影响切分选择，这部分由推理插件层承接。插件针对线性+稀疏混合注意力下的索引器召回、IndexPool缓存压缩、mHC超连接读写，以及MoE专家调度、张量并行等环节做了适配与优化。vLLM-plugin-FL与 SGLang-plugin-FL两条部署路径共用同一套FlagGems算子实现与同一份BF16权重格式，因此切换芯片不需要更换模型文件，只需选择对应的框架插件。补齐后的算子实现对所有接入FlagGems的芯片同时生效，而非每款芯片各自重写。

3、Hy4 Preview：INT8量化让770B模型落地存量国产算力

Hy4 preview总参数770B，是Hy3（295B）的2.6倍，激活参数从21B增至49B，上下文从256K扩展到1M。为了让当下已经部署的主流AI芯片能跑起来，需要解决一系列因为参数规模巨大的系统优化问题。本次FlagOS技术团队通过FlagOS-Compressor多芯片模型量化工具链，实现了对Hy4 preview的FP8/BF16原生权重到INT8的压缩路径，并完成量化推理算子在多款AI芯片的适配。量化迁移后的权重，在多种AI芯片上评测，与英伟达原生基于CUDA的FP8版本对照，误差平均分偏差均在对齐区间内，保证了量化+跨芯迁移后的模型质量。

二、连续Day0为什么能够发生？

Qwen3.8-Flash-Next、GLM-5.3-Flash和Hy4 preview的挑战各不相同，但三次发布背后复用的是同一套基础设施。连续Day0并不是把团队工作速度简单提高三倍，而是众智FlagOS多芯片统一AI系统技术栈 —— 作为公共技术资产开始产生复利。

1. 以公共算子库承接快速变化的模型结构

FlagGems与FlagGems-vLLM分别面向PyTorch通用算子和vLLM 融合算子，基于Triton/Triton-TLE构建多芯片共享实现。面对新的注意力、连接和Embedding结构，团队优先补齐后端中立的公共算子，而非围绕不同芯片分别开发。

新增算子因此不仅解决当前模型，也会成为后续模型的可复用资产。Qwen3.8-Flash-Next中沉淀的QSA、Hyper-Connection、PLE state与完整图捕获能力，就为后续 Qwen新的模型族提供了基础。

2. 以统一编译器和插件层吸收芯片差异

FlagTree将Triton算子编译至不同AI芯片后端；vLLM-plugin-FL和SGLang-plugin-FL 则在保持主流框架接口不变的同时，处理不同芯片的运行时、并行方式和模型执行差异。

这使上层模型适配与底层芯片后端可以并行演进。许多芯片编译与运行能力在模型发布之前已经打通，模型开源后只需补齐增量结构和完成验证，而不是重新建设整套软件栈。

3. 以压缩工具扩大新模型可用的算力范围

模型规模持续增长，原生精度未必适合所有已部署硬件。FlagOS-Compressor将量化压缩纳入跨芯发布流程，使FP8、BF16、INT8等版本能够根据芯片能力形成组合，并通过统一评测验证模型质量。

这让Day0不只是服务最新、最高规格的硬件，也帮助既有算力承接新一代模型，延长存量基础设施的有效服务周期。

4. 以标准化发布链路保证“适配完成”真正可用

FlagRelease将模型迁移、环境封装、精度对齐、镜像制作、模型卡和社区发布串联起来。每一次Day0最终交付的不是一条内部运行日志，而是面向开发者的模型版本与部署说明。

截至2026年8月，FlagRelease已发布覆盖10余家芯片厂商、12款以上硬件、80余个开源模型实例的跨芯版本。此次连续三轮Day0，是既有发布体系面对高密度前沿模型更新的一次集中检验。

从“适配一款模型”走向“支撑模型持续演进”

过去，模型与芯片之间的适配通常以项目制展开：一个模型对应一款芯片，分别修改框架、补算子、做验证。模型和芯片任何一侧发生变化，都可能触发新一轮重复开发。这不仅延迟新模型进入多元算力的时间，也让大量软件投入难以复用。

连续三次Day0所呈现的是另一种可能：

  • 新模型带来的算子和框架能力沉淀到公共软件栈；

  • 新芯片接入形成可持续复用的后端能力；

  • 模型发布、量化、部署和评测逐步形成标准化流水线；

  • 多家芯片伙伴从发布后的串行适配，转向基于统一底座的并行验证。

因此，Day0的真正价值并不只是“快一天”。它缩短的是前沿模型与多元算力之间的距离，积累的是下一次模型发布可以继续复用的公共能力。

当模型快速迭代成为常态，AI基础设施的竞争力将不只取决于支持过多少款模型，更取决于能否持续跟上模型演进。此次三款旗舰模型连续发布，验证了FlagOS正在将跨芯适配从分散、重复的工程任务，转化为开放、共享、可规模化的基础设施能力。

三、开发者速用指南

FlagOS技术栈为三款模型提供了统一支持多种AI芯片的推理插件，包括vLLM-plugin-FL和SGLang-plugin-FL两种推理框架插件。目前在FlagOS推理插件的支持下，Qwen3.8-Flash-Next 已在平头哥、英伟达、摩尔线程、华为昇腾、沐曦、昆仑芯、海光、天数智芯、清微智能、曦望，GLM-5.3-Flash已在平头哥、英伟达、昆仑芯、摩尔线程、华为昇腾、海光、沐曦、清微智能，Hy4 preview已在平头哥、英伟达、摩尔线程、沐曦、华为昇腾、海光等芯片上通过不同的推理框架插件方式完成推理部署及评测验证。业务代码与标准调用接口无需修改，环境依赖、模型路径与启动参数按各芯片模型卡配置。

使用源码安装部署，可参考以下官方文档：

vLLM-plugin-FL：

GitHub：https://github.com/flagos-ai/vllm-plugin-FL/blob/main/README.md

GitCode：https://gitcode.com/flagos-ai/vllm-plugin-FL/blob/main/README.md

SGLang-plugin-FL：

GitHub：https://github.com/flagos-ai/sglang-plugin-FL/blob/main/README.md

GitCode: https://gitcode.com/flagos-ai/sglang-plugin-FL/blob/main/README.md

方式一：FlagOS安装部署

快速安装（以vLLM为例）

以平头哥平台的验证为例。其他芯片的运行时版本、插件分支、FlagGems/FlagTree提交以及是否需要FlagCX，请以对应芯片的模型卡和vLLM-plugin-FL / SGLang-plugin-FL仓库README为准。使用SGLang请替换为sglang-plugin-FL的安装步骤。

# 1. 安装 vLLM（版本以对应芯片的模型卡为准）git clone https://github.com/vllm-project/vllm.gitcd vllmgit checkout v0.24.0VLLM_TARGET_DEVICE=empty pip install -v --no-build-isolation --no-deps .
# 2. 安装 vllm-plugin-FLgit clone https://github.com/flagos-ai/vllm-plugin-FLcd vllm-plugin-FLgit checkout v0.3.0-devpip install --no-build-isolation -e .
# 3. 安装 FlagGems 算子库git clone https://github.com/flagos-ai/FlagGemscd FlagGems && git checkout v5.3.0pip install --no-build-isolation -e .
# 4. (可选) 安装 FlagTree 跨芯编译器
# 5. (可选) 安装 FlagCX 跨芯通信库# 详见 https://github.com/flagos-ai/FlagCX

运行推理

以下为平头哥平台Qwen3.8-Flash-Next BF16版本的示例。运行其他模型时替换model 与并行配置即可：GLM-5.3-Flash用FlagRelease/GLM-5.3-Flash-BF16-zhenwu-FlagOS、tensor_parallel_size为8；Hy4 preview用FlagRelease/Hy4-preview-INT8-zhenwu-FlagOS。模型路径、tensor_parallel_size、max_num_batched_tokens、max_num_seqs等参数需按实际芯片型号、卡数与服务配置调整，各芯片的推荐取值见对应模型卡。

from vllm import LLM, SamplingParamsprompts = ["请介绍下FlagOS开源统一软件技术栈"]sampling_params = SamplingParams(max_tokens=10, temperature=0.0)llm = LLM(    model="FlagRelease/Qwen3.8-Flash-Next-BF16-zhenwu-FlagOS",    max_num_batched_tokens=8192,    max_num_seqs=32,    tensor_parallel_size=16)outputs = llm.generate(prompts, sampling_params)for output in outputs:    print(f"Prompt: {output.prompt!r}")    print(f"Generated: {output.outputs[0].text!r}")

方式二：模型镜像直接下载

用户也可以直接拉取在FlagRelease上发布的迁移后的模型文件、代码和镜像，开箱即用、无需迁移。下表列出三款模型已在FlagRelease上线的芯片适配版本。

魔搭平台

Hugging Face 平台

四、换芯不换码，精度不打折

1. 零改码适配

模型原有接口、vLLM推理引擎使用逻辑以及开发者的日常调用代码均无需修改。FlagOS通过多芯片推理框架插件（vLLM-plugin-FL / SGLang-plugin-FL），把算子实现从CUDA替换为基于Triton语言的FlagGems算子库，由插件层完成与各芯片后端的对接。三款模型的混合注意力架构在不同芯片上可用的并行切分方式与执行模式存在差异，这部分同样由插件层承接，开发者无需了解硬件相关的底层开发知识。

2. 核心能力与原生版本对齐

我们在GPQA_Diamond、MuSR两个评测集上，将各芯片FlagOS版本与英伟达原生版本做了对照，从已出评测结果数据来看，与CUDA原生结果对齐。

Qwen3.8-Flash-Next评测数据

GLM-5.3-Flash评测数据

Hy4 preview评测数据

注：本测试结果仅用于在同一测试环境下的对齐验证，并不代表模型的官方性能。三款模型的官方性能分别以Qwen官方、智谱官方与腾讯混元官方公布数据为准。

3. 开箱即用部署

FlagRelease直接提供了多芯片版本的三款模型FlagOS版本和配套镜像，其中已预置 FlagGems算子库、FlagTree编译器等组件，加载模型时底层优化自动生效，开发者无需添加FlagOS初始化代码，也无需自行迁移。若不使用FlagRelease镜像而采用源码方式部署，则需按前文步骤自行安装vLLM-plugin-FL与FlagGems。

五、开源共建：FlagOS持续做开发者的“跨芯适配后盾”

当下，“异构算力协同、大模型普惠落地”已成为全球开源开发者社区的核心热点，打破硬件生态隔离、让大模型在不同算力平台高效低成本运行，是无数开发者的核心诉求。FlagOS从诞生之初就将开源开放、众智共建刻入技术基因，始终以开发者为中心，通过全栈开源的统一系统软件栈，把复杂的“M×N”硬件适配问题降维为“M+N”，做每一位开发者最可靠的跨芯适配后盾。

全栈开源无保留，把技术主动权交给开发者

目前，FlagOS已形成完整的开源技术体系，所有核心组件均已开源在GitHub，同时开放了数十款最新的主流基础大模型、十多款AI芯片的适配方案与最佳实践：

  • 四大核心技术库：FlagGems通用大模型算子库、FlagTree统一AI编译器、FlagScale训练推理并行框架、FlagCX统一通信库，覆盖算子开发、编译优化、并行计算、跨芯片通信全链路；

  • 三大开源工具平台：FlagRelease大模型自动迁移发布平台、KernelGen算子自动生成工具、FlagPerf多芯片评测工具，提供从模型适配、性能评测到工程落地的一站式工具链；

  • 全场景扩展生态：vLLM-plugin-FL、SGLang-plugin-FL、Megatron-LM-FL、Transformer Engine-FL等框架增强组件，以及FlagOS-Robo具身智能工具包，覆盖大模型训练、推理、应用全场景。

多路径参与共建

我们为不同技术方向、不同经验层级的开发者设计了低门槛、多路径的共建方式：

  • 新手友好型参与：可在对应仓库提交Issue反馈bug、优化建议，或是补充完善文档、撰写入门教程与最佳实践，也可参与社区技术交流、分享使用经验；

    社区文档参考：https://docs.flagos.io/en/latest/

  • 深度技术共建：开发者可直接参与FlagGems算子开发与优化（新增算子 / 性能调优 / 新芯片后端支持）、KernelGen算子生成流程增强、FlagTree编译器后端扩展等核心模块，与社区核心开发者一起推动技术演进。

  • 生态工具贡献：开发者可基于FlagOS Skills开发面向国产芯片的AI Agent专业技能，帮助更多开发者通过自然语言完成芯片适配、模型部署等操作。

关于众智FlagOS社区

为解决不同AI芯片大规模落地应用，北京智源人工智能研究院联合众多科研机构、芯片企业、系统厂商、算法和软件相关单位等国内外机构共同发起并创立了众智FlagOS社区，目前已经有100多家成员单位。FlagOS是一款专为异构AI芯片打造的开源、统一系统软件栈，在适配支持范围内，AI模型一次开发即可迁移至不同硬件平台，降低迁移与适配成本。它包括大型算子库、统一AI编译器、并行训推框架、统一通信库等核心开源项目，致力于构建「模型-系统-芯片」三层贯通的开放技术生态，通过一次开发跨芯迁移释放硬件计算潜力，打破不同芯片软件栈之间生态隔离。

  • 社区官网：https://flagos.io

  • GitHub：https://github.com/flagos-ai

  • GitCode：https://gitcode.com/flagos-ai

  • SkillHub：https://skillhub.flagos.io



内容中包含的图片若涉及版权问题，请及时与我们联系删除