SkewAdam propone una asignación jerárquica del estado del optimizador para modelos MoE: conserva el momentum en float32 y los momentos de segundo orden des...
SkewAdam propone una asignación jerárquica del estado del optimizador para modelos MoE: conserva el
momentum en float32 y los momentos de segundo orden descompuestos para la red troncal densa, conserva solo los momentos de segundo orden descompuestos para las capas de expertos y conserva momentos de segundo orden precisos para el enrutador. En un MoE de 6.78B parámetros, el estado del optimizador ocupa solo 1.29 GB (el 2.6% de AdamW), y la memoria máxima de entrenamiento se reduce de 81.4 GB a 31.3 GB, pudiéndose cargar en un acelerador de 40 GB.
arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.
Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs ：https://info.arxiv.org/labs/index.html.
Aioga 编辑摘要：SkewAdam针对MoE模型提出分层优化器状态分配：为密集骨干网络保留float32动量与分解二阶矩，为专家层仅保留分解二阶矩，为路由器保留精确二阶矩。 Aioga 将其归入「论文研究」方向，重点关注它对真实使用和行业竞争的影响。
背景分析：模型与研究类动态需要结合能力边界、开放方式、成本、可用性和真实任务表现判断，单项指标领先不等于已经形成稳定采用。
Aioga 判断：这条动态更适合作为行业观察信号，当前信息足以建立线索，但不足以推导长期结论。
影响分析：对相关团队而言，短期应先核对来源、可用范围和实际成本，再判断是否值得接入或跟进。 后续观察：继续观察官方文档、实际可用性、价格变化、开发者反馈和竞品回应。
La fuente proporciona título, resumen, atribución y enlace original. Aioga no republica el artículo completo.
Canal de ingesta: Agregación de resúmenes · Dominio original: arxiv.org
Fuente: HuggingFace Daily Papers（社区热门论文）
Enlace original: Abrir fuente original
Archivo Aioga: Abrir página de inteligencia
Content record: source-page · Updated: 2026-07-21T00:00:00.000Z
统一接入主流 AI 模型 API，为开发、测试与生产环境提供稳定调用入口。
立即访问 api.w173.com
Scan to open this articleAioga agrega novedades globales de IA y conserva las fuentes para verificación y cita.