小红书与北大开源 UltraEP：面向大规模 MoE 训推的实时负载均衡方案

Aioga Editorial Team

AI资讯 / 产品更新

返回 AI资讯

小红书与北大开源 UltraEP：面向大规模 MoE 训推的实时负载均衡方案

公众号：小红书技术（dots.llm）Aioga 编辑团队2026-07-20T08:00:45.000Z热度 68

小红书与北大提出 UltraEP，首次将基于精确路由信息的实时负载均衡引入生产系统，在每个 microbatch 和每一层动态复制热点专家。在 Qwen3-235B 等模型上，...

产品更新公众号：小红书技术（dots.llm）

今日 AI 情报摘要

小红书与北大提出 UltraEP，首次将基于精确路由信息的实时负载均衡引入生产系统，在每个 microbatch 和每一层动态复制热点专家。

在 Qwen3-235B 等模型上，训练吞吐平均达到理想性能的 94.6%，相比 Megatron-LM 提升 42%；推理 prefill 吞吐相比 SGLang 提升 1.56 倍。

资讯正文 · AI 整理原文

小红书与北大提出 UltraEP，首次将基于精确路由信息的实时负载均衡引入生产系统，在每个 microbatch 和每一层动态复制热点专家。

在 Qwen3-235B 等模型上，训练吞吐平均达到理想性能的 94.6%，相比 Megatron-LM 提升 42%；

推理 prefill 吞吐相比 SGLang 提升 1.56 倍。

情报判断

Aioga 编辑摘要

小红书与北大提出 UltraEP，将基于精确路由信息的实时负载均衡用于生产系统，并按每个 microbatch、每一层动态复制热点专家，以改善大规模 MoE 训练与推理的负载分配。

背景分析

公开材料称，该方案面向大规模 MoE 训练与推理场景。在 Qwen3-235B 等模型上，其训练吞吐平均达到理想性能的 94.6%，相比 Megatron-LM 提升 42%。

Aioga 观点

Aioga 判断，UltraEP 的核心关注点不是静态配置专家副本，而是依据精确路由信息进行细粒度、实时调整。值得关注的是，这种机制已被材料明确描述为引入生产系统。

影响与后续

公开材料还称，UltraEP 的推理 prefill 吞吐相比 SGLang 提升 1.56 倍。Aioga 判断，这组结果显示实时复制热点专家可能同时影响训练吞吐与推理 prefill 阶段的效率。值得关注的是，现有材料未披露测试环境、硬件配置、模型范围及对比参数。后续应结合完整技术报告核对“理想性能”的定义，并确认不同负载条件下结果是否一致。