SkewAdam propose une allocation hiérarchique des états de l'optimiseur pour les modèles MoE : conserver la quantité de mouvement en float32 et la décomposi...
SkewAdam propose une allocation hiérarchique des états de l'optimiseur pour les modèles MoE :
conserver la quantité de mouvement en float32 et la décomposition des secondes matrices pour le réseau central dense, conserver uniquement la décomposition des secondes matrices pour les couches d'experts, et conserver les secondes matrices exactes pour le routeur. Sur un MoE de 6,78 milliards de paramètres, l'état de l'optimiseur ne représente que 1,29 Go (2,6 % de AdamW), la mémoire de formation maximale passe de 81,4 Go à 31,3 Go, ce qui permet de la charger sur un accélérateur de 40 Go.
arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.
Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs ：https://info.arxiv.org/labs/index.html.
Aioga 编辑摘要：SkewAdam针对MoE模型提出分层优化器状态分配：为密集骨干网络保留float32动量与分解二阶矩，为专家层仅保留分解二阶矩，为路由器保留精确二阶矩。 Aioga 将其归入「论文研究」方向，重点关注它对真实使用和行业竞争的影响。
背景分析：模型与研究类动态需要结合能力边界、开放方式、成本、可用性和真实任务表现判断，单项指标领先不等于已经形成稳定采用。
Aioga 判断：这条动态更适合作为行业观察信号，当前信息足以建立线索，但不足以推导长期结论。
影响分析：对相关团队而言，短期应先核对来源、可用范围和实际成本，再判断是否值得接入或跟进。 后续观察：继续观察官方文档、实际可用性、价格变化、开发者反馈和竞品回应。
La source fournit un titre, un résumé, une attribution et un lien original. Aioga ne republie pas l’article intégral.
Canal de collecte: Agrégation de résumés · Domaine source: arxiv.org
Source: HuggingFace Daily Papers（社区热门论文）
Lien original: Ouvrir la source
Archive Aioga: Ouvrir la page de veille
Content record: source-page · Updated: 2026-07-21T00:00:00.000Z
统一接入主流 AI 模型 API，为开发、测试与生产环境提供稳定调用入口。
立即访问 api.w173.com
Scan to open this articleAioga agrège l’actualité mondiale de l’IA et conserve les sources pour vérification et citation.