小红书技术团队开源 BigMac,一种针对多模态大模型训练的依赖安全嵌套流水线新范式。
它以 LLM 流水线为主干,在不打乱执行顺序的前提下嵌入编码器和生成器计算,相比基线实现 1.08x-1.9x 加速,同时保持激活显存有界。
BigMac 已作为 dots 多模态模型训练的核心组件投入生产。
El equipo técnico de Xiaohongshu ha abierto BigMac, un nuevo paradigma de canalización anidada de seguridad de dependencias para el entrenamiento de grande...
El equipo técnico de Xiaohongshu ha abierto BigMac, un nuevo paradigma de canalización anidada de
seguridad de dependencias para el entrenamiento de grandes modelos multimodales. Utiliza la canalización LLM como columna vertebral, incorporando el cálculo del codificador y del generador sin alterar el orden de ejecución, logrando una aceleración de 1,08x-1,9x en comparación con la línea base, al mismo tiempo que mantiene la memoria de activación limitada. BigMac ya se ha implementado en producción como el componente central del entrenamiento del modelo multimodal dots.
小红书技术团队开源 BigMac,一种针对多模态大模型训练的依赖安全嵌套流水线新范式。
它以 LLM 流水线为主干,在不打乱执行顺序的前提下嵌入编码器和生成器计算,相比基线实现 1.08x-1.9x 加速,同时保持激活显存有界。
BigMac 已作为 dots 多模态模型训练的核心组件投入生产。
小红书技术团队开源 BigMac,将其定位为多模态大模型训练的依赖安全嵌套流水线范式。该方案以 LLM 流水线为主干,嵌入编码器和生成器计算,并已用于 dots 多模态模型训练。
公开材料显示,BigMac 面向多模态大模型训练中的流水线组织问题,在不打乱执行顺序的前提下嵌入编码器和生成器计算,同时保持激活显存有界。材料未披露具体硬件、基线配置及测试条件。
Aioga 判断,BigMac 的主要看点不是单一加速数字,而是以依赖安全方式组织多类计算,并进入实际生产训练流程。其公开价值可能在于为多模态训练流水线提供一种可复用的实现思路。
值得关注的是,公开材料给出的相对基线加速范围为 1.08x-1.9x,但缺少不同模型、硬件和任务下的细分结果。Aioga 判断,外部团队能否获得相近收益,仍可能取决于具体训练配置。 后续值得关注开源代码、配置和复现实验是否完整披露,以及不同模型规模、编码器与生成器组合下的表现。Aioga 判断,对该方案的进一步评价应以可复现基线、显存数据和适用边界为依据。
La fuente proporciona título, resumen, atribución y enlace original. Aioga no republica el artículo completo.
Canal de ingesta: Agregación de resúmenes · Dominio original: mp.weixin.qq.com
Fuente: 公众号:小红书技术(dots.llm)
Enlace original: Abrir fuente original
Archivo Aioga: Abrir página de inteligencia
Content record: summary-fallback · Updated: 2026-07-22T10:04:51.000Z

统一接入主流 AI 模型 API,为开发、测试与生产环境提供稳定调用入口。
立即访问 api.w173.comAioga agrega novedades globales de IA y conserva las fuentes para verificación y cita.