LongStraw：固定GPU预算下实现超200万token的RL后训练

LongStraw是一个面向百万token级RL后训练的架构感知执行栈，在固定GPU预算下通过GRPO实现。

在8块H20 GPU上，LongStraw完成分组Qwen评分和响应反向传播时支持210万位置（组大小2和8），组大小增加仅额外占用0.21 GB峰值内存；

压力测试达到446万位置。

在32块H20 GPU上，验证了GLM-5.2全部78层上210万token提示词的端到端执行路径。

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs ：https://info.arxiv.org/labs/index.html.