华为昇腾宣布支持 RL 训推一致性，实测最高获 60% 性能收益

华为昇腾宣布支持 RL 训推一致性，实测最高获 60% 性能收益 这条更新来自 ithome.com，发布时间为 2026-08-06，Aioga 保留原文入口以便核验。

摘要：华为昇腾基于 Ascend C 编程语言提供完整训推一致算子集，在 Qwen3-30B MoE 模型上实现 Logdiff 为 0，并通过 FA 算子优化在 Eager 模式下获得 20%-60% 性能收益。相关基础设施已开源，还将上线"训推一致问题识别 Skill"以排查残余 logdiff。

背景：RL 后训练中，推理引擎与训练引擎即使使用相同模型权重，对相同 Token 序列计算的 logprob 仍可能存在差异。材料称，底层累加不保序以及并行切分、集合通信路径差异均会影响训推一致性。

Aioga 观察：Aioga 判断，此次更新的重点不只是单项算子提速，而是同时约束注意力语义、规约累加顺序和在线 Softmax 分块策略，尝试在数值一致性与可用性能之间建立可验证的工程方案。

影响与后续：值得关注的是，材料披露的 Logdiff 为 0 与 20%-60% 性能收益均来自 Qwen3-30B MoE 及 Eager 模式下的特定测试，尚不能直接推定其他模型、并行策略或运行模式会获得相同结果。 Aioga 判断，后续应关注开源基础设施在更多模型与并行配置中的复现结果，以及计划上线的“训推一致问题识别 Skill”能否定位残余 logdiff，并披露更完整的测试条件与对比口径。

IT之家：https://www.ithome.com/ 8 月 6 日消息，强化学习已成为大模型训练主流范式，推动模型技术向行业核心场景工程化落地。其中，训推一致至关重要，因推理与训练过程耦合，基础设施差异易放大不确定性。

华为计算官方 8 月 5 日宣布，昇腾基于 Ascend C 编程语言提供完整训推一致算子集，在 Qwen3-30B MoE 模型上的测试实现 Logdiff 为 0，并通过昇腾亲和的 FA 算子优化， 在 Eager 模式下获得 20%-60% 性能收益 ，为开发者提供高效可靠的强化学习训练方案。

RL 后训练训推不一致最根本的原因， 是底层计算时累加不保序 。若要从上到下保证训练引擎与推理引擎每一次累加顺序一致，需要框架侧与算子侧同时发力。模型参数越大，问题会进一步放大：张量并行、专家并行等切分策略，以及集合通信路径，任一环节对不齐，都无法做到最终的 true-on-policy。算子还需要覆盖多种调用场景，在关键计算步骤上施加约束，同时把性能损失控制在可用范围内 —— 这是一项系统性工程挑战。

训推不一致，指的是 Rollout（推理）引擎与训练引擎之间的数值不一致性 。即使两者使用完全相同的模型权重，对相同 Token 序列计算得到的对数概率（logprob）也可能存在细微差异；该差异通常用 logdiff 衡量。

昇腾基于 Ascend C 编程语言对训推链路中的关键算子做了系统性约束与对齐，核心思路是：让训练与推理在「该累加的地方」走同一套数值路径，主要涉及如下 4 个修改：

统一注意力语义： 对齐训练掩码 Softmax 与推理逐步注意力在有效位置上的计算范围，消除因可见 Token 集合不同带来的数值差。

锁定 reduce 累加序： 约束训练 FA、推理 PFA / PagedAttention 在规约维度上的切分与归约顺序，避免「同模板不同切分」导致的累加不保序。

对齐在线 Softmax 分块策略： 统一分块大小与归约节奏，避免 decoder 侧多块合并 Softmax 与训练侧分块 Softmax 不一致。

对齐关键路径精度： 在 Softmax 累加等敏感步骤上统一精度转换策略，减少混合精度实现差异引入的尾数误差。

在此基础上，再配合 FA 下发与调度优化，使训推一致不再以显著性能回退为代价，从而在实测中同时拿到 logdiff=0 与端到端加速。

华为宣布相关基础设施已开源 ，还将上线“训推一致问题识别 Skill”，支持排查残余 logdiff、定位是算子路径问题还是框架实现差异。

https://github.com/verl-project/verl-ascend-recipe/tree/main/true_on_policy ：https://github.com/verl-project/verl-ascend-recipe/tree/main/true_on_policy