개미종달새, SGLang을 위해 가중치 캐시 데몬 출시

蚂蚁百灵宣布为 SGLang 推出 Weight Cache Daemon。其公开材料称，在 Ling-2.6-1T FP8 上，权重加载约需 0.63 秒，较磁盘加载快约 780 倍，引擎总启动时间由 8.8 分钟降至约 0.53 分钟。

Weight Cache Daemon 面向 SGLang 的权重加载流程，公开材料仅说明其用于缓存权重并展示了工作原理提示，未进一步披露实现细节、适用硬件、部署条件、兼容范围或测试方法。

Aioga 判断，这项发布的核心价值在于缩短大模型引擎启动等待时间，尤其体现在所披露的 Ling-2.6-1T FP8 测试场景。上述性能数字来自发布方材料，尚不足以代表所有环境。

如果相关结果能够在更多模型、硬件和部署条件下复现，Weight Cache Daemon 可能提升 SGLang 场景中的启动效率。但材料未说明缓存占用、并发行为、失效机制及稳定性，实际影响仍值得关注。 后续应核对完整原文中的测试环境、磁盘与缓存配置、测量口径及重复测试结果，并关注项目代码、文档和兼容性说明。只有补充这些证据，才能判断约 780 倍加速是否具备可推广性。