小红书开源 BigMac：多模态大模型训练新范式

小红书技术团队开源 BigMac，将其定位为多模态大模型训练的依赖安全嵌套流水线范式。该方案以 LLM 流水线为主干，嵌入编码器和生成器计算，并已用于 dots 多模态模型训练。

公开材料显示，BigMac 面向多模态大模型训练中的流水线组织问题，在不打乱执行顺序的前提下嵌入编码器和生成器计算，同时保持激活显存有界。材料未披露具体硬件、基线配置及测试条件。

Aioga 判断，BigMac 的主要看点不是单一加速数字，而是以依赖安全方式组织多类计算，并进入实际生产训练流程。其公开价值可能在于为多模态训练流水线提供一种可复用的实现思路。

值得关注的是，公开材料给出的相对基线加速范围为 1.08x-1.9x，但缺少不同模型、硬件和任务下的细分结果。Aioga 判断，外部团队能否获得相近收益，仍可能取决于具体训练配置。 后续值得关注开源代码、配置和复现实验是否完整披露，以及不同模型规模、编码器与生成器组合下的表现。Aioga 判断，对该方案的进一步评价应以可复现基线、显存数据和适用边界为依据。