Aioga
AI资讯 / 行业动态
返回 AI资讯

Modal 详解如何以万亿 token 规模服务 Kimi K2.6 编码 Agent 推理

Modal 官方工程博客(RSS)Aioga 编辑团队2026-09-23T00:00:00.000Z热度 72

Modal 分享为编码 Agent 提供万亿参数模型 Kimi K2.6 推理服务的优化实践,优化后单副本每用户性能提升 2.8x、副本整体吞吐提升 5.6x,单个服务日处理数...

行业动态Modal 官方工程博客(RSS)

今日 AI 情报摘要

Modal 分享为编码 Agent 提供万亿参数模型 Kimi K2.6 推理服务的优化实践,优化后单副本每用户性能提升 2.8x、副本整体吞吐提升 5.6x,单个服务日处理数千亿 token。

中文正文 · AI 翻译

软件正在吞噬世界:https://a16z.com/why-software-is-eating-the-world/,而智能代理正在吞噬软件工程:https://martinalderson.com/posts/ai-agents-are-starting-to-eat-saas/。软件工程师必须不仅理解目前作为其最重要工具的代理软件,还要理解代理软件的智能核心是如何工作的——通过大型生成语言模型进行推理——如果不是出于工程师需要理解和控制其工具的目的,至少也应当意识到推理有可能消耗比计算机的所有其他用途更多的计算能力,并产生更多的收益。

User avatar
User avatar

关于用于编程智能体的推理服务的核心事实是,它们必须在极高的相对和绝对性能下运行。

我们所说的相对性能,是指其所使用硬件的峰值速率或“光速” 的很大比例:https://modal.com/gpu-glossary/perf/peak-rate。绝对性能则是指该峰值速率的规模和每次请求完成的工作量都很大。像 Tensor Core 这样的现代矩阵计算加速器:https://modal.com/gpu-glossary/device-hardware/tensor-core,运行在每秒千万亿次浮点运算(petaFLOP/s)的规模。具有足够智能以自动化软件开发的大型生成序列模型拥有数万亿个浮点参数,而且每次请求即便只处理一个请求,这些参数也必须每秒被访问多次。

由于这些要求,经济上可行的编程智能体推理服务目前只有在达到足够覆盖硬件和工程成本的规模时才可实现——大致上,需要处理数万亿的输入和输出 token 的规模。

我们已经实现了这一点,并希望分享我们的经验。

在 Modal,我们运营着多个这样的编程智能体推理服务,并与多位客户合作,也提供类似服务。您可以通过推理路由平台间接使用我们的服务,如 OpenRouter:https://openrouter.ai/provider/modal 或 Vercel AI Gateway:https://vercel.com/ai-gateway/models/providers/modal,或者直接通过我们的共享终端:https://modal.com/endpoints/。

在这篇博客文章中,我们将介绍如何在从 Moonshot AI 的 Kimi K2.6 模型(链接:https://huggingface.co/moonshotai/Kimi-K2.6)为编码代理提供推理服务时优化推理性能。虽然按照该领域的标准,这个模型是“旧的”(字面意思是已经有数百天历史了!),但序列建模、硬件和扩展的基本原理变化足够慢,因此核心内容和许多细节与我们为更近期、在智能和性价比上超越 K2.6 的模型(如 Kimi K3:https://modal.com/library/moonshot/kimi-k3)所做的工作相符。

我们的优化使得每个推理副本的单用户性能提升了 2.8 倍,而跨用户在副本上的性能提升了 5.6 倍:

Modal 详解如何以万亿 token 规模服务 Kimi K2.6 编码 Agent 推理

此图将每个用户的体验(每用户每秒解码的 token,即交互性)绘制在 x 轴上,而整体系统的性价比(每 GPU 每分钟总 token,即 token 吞吐量)绘制在 y 轴上,并在每个点标出并发用户数。

更直观地说,这就是下图中右侧的高昂代价服务与左侧价格竞争力服务之间的差别:

随后,我们将这些单容器副本扩展成部署和服务。其中一个特定服务每天处理数千亿的 token,总量达到数万亿:

下面,我们希望让一般软件工程师能够理解这种性能工程。通过分享我们以及客户如何运维这些服务,我们希望它也能让你做到同样的事情——也许可以通过在 Modal 上部署专用端点(链接:https://modal.com/docs/guide/endpoints)来实现。

我们将内容分为两个部分:理解用于响应每个请求的序列模型,以及理解跨请求的工作负载结构。

当代的编码代理由概率生成模型驱动,这些模型主要通过无监督的掩码序列预测进行预训练,并主要通过增强输出软件正确性进行后训练。就像编译器的解析器一样,它们并不在原始字符串上操作,而是在标记化的序列上操作,因此我们将它们的输入和输出称为标记。因为我们最终是在猜测输出标记应该是什么,所以这被称为推理。如果你更喜欢演绎,请坚持使用数据库和操作系统。

如今的基础序列模型是混合注意力、专家混合的 Transformer 神经网络。这些网络不仅在序列中的每个标记上进行计算,也在序列中的标记之间进行计算。

注意力已经演变为跨标记计算的通用术语。专家混合是指动态路由的块稀疏矩阵乘法,它应用于大部分的每标记计算。这些计算迭代地更新网络的内部或潜在表示。

想了解这些序列模型内部发生了什么,可以参考 Anthropic 的“Transformer 电路的数学框架”:https://transformer-circuits.pub/2021/framework/index.html(2021 年,但仍未被超越)。

通过这样的神经网络进行一次前向传递,会生成大量的内部状态,以及针对序列中每个位置的下一个标记的概率分布。因为我们是基于自己的输出进行预测(“自回归”):https://en.wikipedia.org/wiki/Regression_toward_the_mean,这是自回归序列建模。

为了响应客户端请求,我们通常像这样将多个前向传递串联在一起:

前向传递非常昂贵,因此我们希望尽可能摊销这部分工作。在每个 token 的计算中,大部分工作可以通过将多个序列一起批处理来摊销。在跨 token 的计算中,大部分工作可以通过缓存内部状态来摊销。出于历史原因,这被称为键值缓存(KV 缓存或简称 KV),尽管像 Kimi 这样的现代模型并没有明确的键和值。你可以在 Kipply 的优秀博客文章《Transformer推理算术》中了解更多关于“餐巾纸数学”的内容:https://kipp.ly/p/transformer-inference-arithmetic(2022 年的文章,但至今仍未被超越)。

当前向传递处理请求的输入 token 时,我们称之为预填充(prefill),因为它是在“预填充” KV 缓存。当前向传递生成响应的输出 token 时,我们称之为解码(decode),因为我们正在将模型对过去状态的“编码”解码成预测的未来。那么既做预填充又做解码的前向传递呢?嗯,我们也不太喜欢这个术语。

预填充性能主要通过完成一个请求的所有预填充所需的延迟来跟踪,也就是首次 token 时间(TTFT)。解码性能主要通过之后输出 token 的生成速率来衡量,也就是每秒输出 token 数(TPS)。这两者都可以在客户端或服务器端测量,这常常会引起混淆。

本文介绍的特定序列模型是 Kimi K2.6:https://huggingface.co/moonshotai/Kimi-K2.6,由 Moonshot AI 提供。该模型使用大约一万亿个数字(矩阵中的权重)来参数化其矩阵乘法,其中大多数以四位整数(INT4)存储。

然而,我们使用四位浮点数(FP4)来服务模型:https://modal.com/llm-almanac/quant-formats/0x6。四位仅提供十六个不同的值,因此还需要微缩放格式:https://modal.com/llm-almanac/block-quants/mx-fp8-e4m3 来独立缩放张量中的各个块。我们选择了 NVFP4 微缩放格式:https://modal.com/llm-almanac/block-quants/nvidia-fp4,它在 Blackwell 流式多处理器架构的张量核心中具有原生硬件支持,可达到 petaFLOP/s 规模:https://modal.com/gpu-glossary/device-hardware/tensor-core 和 https://modal.com/gpu-glossary/device-hardware/streaming-multiprocessor-architecture,如 B200 和 B300 GPU。由于我们在计算资源紧张时期操作动态 GPU 群组,因此我们准备让部署同时在 B200 和 B300 GPU 上运行。以下结果都是针对 B200 GPU;B300 本质上类似,但由于它们有更多高带宽内存(HBM)可用于缓存,能够实现更高的请求并发:https://modal.com/gpu-glossary/device-hardware/gpu-ram。

我们选择 SGLang 推理引擎作为基础。我们发现通过修补引擎有几个提高性能的机会。作为 SGLang 项目的贡献者,我们将这些补丁上游合并,具体描述和链接见以下文章。

当你天真地在编程代理流量上提供此类模型时,结果会很糟糕。

此图表显示,超过 6 个并发用户时,吞吐量和交互性迅速下降。此外,即使在达到峰值之前,交互性也低于用户预期,系统效率低于可接受水平。

因此,从此开始,你需要提高交互性和吞吐量,以向用户提供更好的结果,同时降低自身成本。为此,你需要比仅仅“输入和输出词元”更深入地理解此工作负载中的序列。

单个输出令牌的请求是在“会话”中创建的:用户、生成模型和工具迭代性地调用链在一起,以构建输入序列的塔,同时随着时间的推移积累上下文——以及价值。意义建构、信息发现和理解过程的迭代性,让我们认为这是序列建模和顺序行动本质的基本特征,因此我们预计这种模式将远远超越“编码代理”。

具体来说,单个会话看起来大致如下:

也就是说,每轮 T 的输入序列(绿色)是到 T 为止的整个会话历史(深绿色),加上一些新的内容(浅绿色)。这有两个关键的后果。

首先,这意味着相对于输出序列(上述粉色),请求本质上具有较长的输入序列——在 T 的输入中包含了 T-1 轮的过去输出序列,并且 T 是几十轮。对于我们在优化中使用并在生产中提供的核心工作负载而言,这个比例是 200:1;请求大约包含 10 万个输入令牌,并产生大约 500 个输出令牌。这意味着处理的大部分令牌都会是输入令牌(只需查看你的编码代理软件中的令牌使用数量即可)。

第二,这意味着输入序列与以前处理的输入序列——从第 1 轮到第 T-1 轮的序列——有高度重叠。这意味着在提供第 T 轮时,第 1 轮的令牌会被处理 T 次。这使得缓存变得至关重要——我们可以避免线性增长的重复计算以节省工作量,但同时会引入必须管理的线性增长状态,这种状态本身也有其性能特征。在这种权衡中导航,是我们在本文中要解决的核心工程问题。

了解了这种工作负载的情况后,我们转向优化。

为了优化性能:https://modal.com/gpu-glossary/perf/performance-bottleneck,构建一个可运行的系统,找出瓶颈,然后解决它。根据需要重复,直到你成功为止。

虽然我们的最终目标是优化整个服务,但我们将该问题分解为两个更简单的问题:先优化单个副本,再从一个副本扩展到多个副本。

我们进一步将单副本性能问题拆分为两个子问题:首先最大化交互性,然后在不损失交互性的情况下最大化吞吐量。

交互性主要影响请求延迟。请求延迟和吞吐量通过并发性(即进行中的请求数量)相互作用,可通过Little定律的重新排列来理解:https://modal.com/gpu-glossary/perf/littles-law

我们在延迟、并发性和吞吐量方面的关键瓶颈开始于GPU HBM:https://modal.com/gpu-glossary/device-hardware/gpu-ram

我们在延迟方面的关键瓶颈是在解码过程中HBM带宽:https://modal.com/gpu-glossary/perf/memory-bandwidth。我们通过跨GPU的矩阵乘法并行化(张量并行,TP)以及应用自定义DFlash:https://www.lmsys.org/blog/2026-06-15-next-generation-speculative-decoding-dflash-v2/ 投机解码:https://modal.com/blog/spec-is-all-u-need ——即在每次内存加载中做更多计算,即使这些计算可能不必要,从而提高了性能。

这在HBM容量上形成了并发性瓶颈:我们能在比重新计算结果更快加载的缓存中保留多少工作。我们通过清理HBM中的中间结果、将中间结果量化为较低浮点精度:https://modal.com/llm-almanac/quant-formats/,并通过HiCache扩展缓存层次结构到CPU RAM:https://www.lmsys.org/blog/2025-09-10-sglang-hicache/ 来解决这一问题。我们使用缓存命中率(CHR)作为改进缓存的目标指标。对于大多数编码代理工作负载,达到一到两个9的CHR是非常可行的。

提高交互性提升了用户感知的系统性能。我们选择先从这一点入手。我们做出这一选择有几个原因。

第一个也是最简单的原因是,我们发现编码代理用户喜欢并愿意为更快到达的token付费,因此高交互性是构建我们和客户用户所需服务的关键。

其次,互动性特别适合通过推测解码进行改进:https://modal.com/blog/achieve-sota-specdec。因为这是一种简单、基于学习的技术,其性能收益会随着计算能力和数据量的增加而扩展:机器学习著名的“苦涩教训”:http://www.incompleteideas.net/IncIdeas/BitterLesson.html,在 ML 系统的性能工程中再度显现。我们也知道如何扩展训练:https://modal.com/blog/reinforcement-learning-infrastructure-problem。

选择最大化互动性还有两个额外的好处,一个是操作性,另一个是吞吐量,这在我们运营一个动态、自适应扩展的数千 GPU 队列时尤其显著:https://modal.com/blog/resource-solver;https://modal.com/blog/gpu-health。

最大互动性副本更小,因此更容易提供服务。

将多个处理器一起使用需要一个用于通信的互连网络(interconnect)。Nvidia GPU 的最低延迟、最高带宽互连是 NVLink。NVLink 在一定规模的“域”内操作一组处理器。

单个主机操作系统可以支持最多 8 个 GPU 的 NVLink 域。通常可用的最大 NVLink 域包括 72 个加速器(在多节点 IMEX 域中:https://docs.nvidia.com/multi-node-nvlink-systems/imex-guide/overview.html )。使用更多加速器将需要速度较慢的互连(IB/RoCE 或更慢的标准以太网)。这意味着为了最大化互动性,每个副本不应期望使用超过 72 个加速器——通信开销几乎肯定会超过每个请求的延迟提升。

但这并不意味着我们必须使用 72 个加速器。

考虑 SemiAnalysis 的 InferenceX 基准测试对同一 NVFP4 Kimi K2.6 模型的结果:https://inferencex.semianalysis.com/inference/kimi-k26,这些结果展示了多种部署中每个 GPU 的吞吐量随互动性的变化,并标注了 GPU 数量:

最高的交互性是通过每个副本仅部署八块 GPU 实现的。此外,这种交互性是在每块 GPU 拥有可比吞吐量的情况下实现的,这意味着通过选择较小的域,我们显然并没有放弃峰值吞吐量的性价比(在我们的交互性约束下)。

为了保持图表的可读性,我们只选择了与我们最相似的一小部分部署,但这种模式在更多加速器类型和 InferenceX 基准测试中的更多模型中同样适用(可在这里查看:https://inferencex.semianalysis.com/inference/kimi-k26)。通常,你只需四或八块 GPU 就可以在每块 GPU 拥有可比吞吐量的情况下实现最高交互性。然后,你可以通过扩展较小的副本来实现相同的总吞吐量。核心 Modal 无服务器平台(https://modal.com/blog/truly-serverless-gpus)使这种扩展在性能和可靠性方面都能得到保障。

这是巨大的运营优势。较小、更简单的单元更容易进行扩展。八块 GPU 可以由单个主机操作系统内核驱动。而 NVL72 域则由九个这样的子系统组成,共享一个地址空间(是的,你应该对此感到不寒而栗)。可用性受限,合同期限长且不灵活。

而八块 GPU 的 Blackwell 系统则足够标准化,可通过按需和竞价市场获得,这使处理可变负载的成本更具效益(https://modal.com/blog/how-to-price-serverless)。一、二或四块 GPU 的副本还可以打包在单个八块 GPU 的物理机器中——该机器已经拥有启动另一副本所需的所有资源(模型权重、JIT 工件)。

当然,如果计算供应和用户需求发生变化,我们将乐于重新审视这一选择。

增加交互性会间接提高吞吐量。

通过减少单个请求的延迟,我们通过释放资源给新请求,从而间接提高了吞吐量。

代理编码工作负载每个会话大约是“闭环”的。会话几乎总是链条——由用户编写的令牌、工具调用响应和模型输出组成。因此,会话中的下一个请求几乎总是在前一个响应生成完成后的一段时间才到达。因此,会话的下一个请求在一段时间内处于潜变量状态,处于推理系统之外——对于工具调用而言,是数十毫秒到数秒,尾部可能延迟数分钟;对于用户响应而言,是几秒到几分钟,尾部可能延迟数小时或更长时间。

在此期间,可以在同一节点上处理其他请求。当您有足够的负载来利用活动容量时,总有请求准备好供节点处理。当您有足够的容量来应对活动负载时,总有节点可以映射请求。这两者都由我们快速的自动扩展系统保证:https://modal.com/blog/truly-serverless-gpus。我们将在多副本扩展部分详细讨论请求路由。

交互性以每个用户每秒输出的令牌数量来衡量。简单来说,自回归序列模型如Transformer是顺序生成这些令牌的。阿姆达尔令人心碎的定律再次显现。

情报判断

Aioga 编辑摘要

Modal 官方工程博客介绍了为 Moonshot AI 的 Kimi K2.6 编码 Agent 提供推理服务的优化实践。文章称,优化后单副本每用户性能提升 2.8 倍、单副本跨用户整体吞吐提升 5.6 倍。

背景分析

文章指出,编码 Agent 推理服务需要较高的相对与绝对性能,并称经济可行的服务目前需达到足以摊销硬件和工程成本的规模,约为万亿级输入与输出 token。Modal 表示其运营此类服务,并介绍 Kimi K2.6 的优化。

Aioga 观点

Aioga 判断:这篇文章的主要价值在于呈现推理服务的性能与规模约束,以及 Modal 对 Kimi K2.6 的优化结果;这些数据反映的是文中所述服务实践,不应直接视为其他模型或部署环境的表现。

影响与后续

可能影响:关注编码 Agent 推理服务时,需要区分单用户性能与跨用户吞吐指标;文章给出的提升数据不足以说明具体硬件配置、成本变化或其他模型上的效果,也不代表所有服务都能达到相同结果。 后续观察:可留意 Modal 是否进一步披露该优化实践的硬件配置、成本及测试条件,并关注文中提及的较新模型是否有对应的性能数据;在这些信息明确前,不宜外推 Kimi K2.6 的结果。

来源与版权说明

本页正文由公开来源页面提取并按原有信息整理,同时保留来源、发布时间和原文入口。版权归原作者及来源网站所有,请通过原文链接核验和阅读来源版本。

抓取通道: RSS · 原始域名: modal.com

来源: Modal 官方工程博客(RSS)

原文链接: 打开原始来源

Aioga 归档: 查看情报页

Content record: source-page · Updated: 2026-09-23T00:00:00.000Z

API 中转站
API RELAY · DEVELOPER INFRASTRUCTURE

API 中转站

统一接入主流 AI 模型 API,为开发、测试与生产环境提供稳定调用入口。

立即访问 api.w173.com
AIOGA SHARE POSTER

分享这篇 AI 情报

Modal 分享为编码 Agent 提供万亿参数模型 Kimi K2.6 推理服务的优化实践,优化后单副本每用户性能提升 2.8x、副本整体吞吐提升 5.6x,单个服务日处理数...

Modal 官方工程博客(RSS)2026-09-23T00:00:00.000Z
扫码打开文章详情扫码直达文章详情

Aioga 自动聚合全球 AI 动态,并保留来源信息用于核验与引用。