Tencent Hunyuan टीम ने फ्लैगशिप मॉडल Hy3 (295B पैरामीटर) का मात्रात्मक संस्करण लॉन्च किया। 1-बिट संस्करण (IQ1_M) वजन को 598 जीबी से 85.5 गीब तक संपीड़ित कर...
Tencent Hunyuan टीम ने फ्लैगशिप मॉडल Hy3 (295B पैरामीटर) का मात्रात्मक संस्करण लॉन्च किया। 1-बिट
संस्करण (IQ1_M) वजन को 598 जीबी से 85.5 गीब तक संपीड़ित करता है, जो 6.7 गुना की कमी है, जो एकल 96 जीबी अनुमान ग्राफिक्स कार्ड के साथ तैनाती की अनुमति देता है; 4-बिट संस्करण (Q4_K_M) का वॉल्यूम 169.9 GiB है, जो दो ग्राफिक्स कार्ड का समर्थन करता है। क्वांट संस्करण एजेंटों, बहुभाषी कोड, टूल कॉल और लंबी-फॉर्म टेक्स्ट समझ जैसे कार्यों पर लगभग पूरी तरह से प्रदर्शन करता है। टीम एक GPTQ Int4 संस्करण भी प्रदान करती है, जो vLLM परिनियोजन का समर्थन करती है। एमटीपी सट्टा डिकोडिंग के साथ, 1-बिट संस्करण डिकोडिंग गति को लगभग 50% तक प्राप्त करता है, जबकि 4-बिट संस्करण में लगभग 60% का सुधार होता है। सभी संस्करण ओपन-सोर्स हैं और GGUF प्रारूप में पैक किए गए हैं, जिन्हें llama.cpp पारिस्थितिकी तंत्र के लिए अनुकूलित किया गया है।
腾讯混元团队为旗舰模型 Hy3（295B 参数）推出量化版本。
1bit 版本（IQ1_M）将权重从 598 GB 压缩至 85.5 GiB，缩小 6.7 倍，单张 96GB 推理显卡即可部署；
4bit 版本（Q4_K_M）体积 169.9 GiB，两张显卡可承载。
量化版在 Agent、多语言代码、工具调用、长文理解等任务上表现接近满血模型。
团队还提供 GPTQ Int4 版本，支持 vLLM 部署。
配合 MTP 投机解码，1bit 版本解码速度提升约 50%，4bit 版本提升近 60%。
所有版本已开源并打包为 GGUF 格式，适配 llama.cpp 生态。
腾讯混元为295B参数的Hy3发布1bit、4bit及GPTQ Int4量化版本。1bit权重压缩至85.5 GiB，可在单张96GB推理显卡部署；4bit体积为169.9 GiB，可由两张显卡承载。
此次量化以Hy3原始598 GB权重为基础，1bit版本缩小6.7倍。各版本已开源，其中GGUF格式适配llama.cpp生态，GPTQ Int4版本支持通过vLLM部署。
Aioga判断，此次更新的重点不只是压缩模型体积，还包括对不同推理生态的适配。单卡承载1bit版本，可能扩大开发者在有限显存条件下测试和部署Hy3的空间。
值得关注的是，材料称量化版在Agent、多语言代码、工具调用和长文理解任务上接近满血模型；配合MTP投机解码，1bit与4bit版本解码速度分别提升约50%和近60%。 后续值得关注不同硬件与实际业务负载下的性能表现，包括量化版本与满血模型的任务差异、显存占用、解码速度，以及GGUF和GPTQ Int4两条部署路径的适用范围。
当前抓取源提供的是标题、摘要、来源和原文入口，不直接搬运完整原文。完整报道请通过下方原文链接前往来源站点查看。
抓取通道: 摘要聚合 · 原始域名: mp.weixin.qq.com
स्रोत: 公众号：腾讯混元
原文链接: मूल स्रोत खोलें
Aioga 归档: 查看情报页
Content record: summary-fallback · Updated: 2026-07-14T08:56:07.000Z
统一接入主流 AI 模型 API，为开发、测试与生产环境提供稳定调用入口。
立即访问 api.w173.com
Scan to open this articleAioga 自动聚合全球 AI 动态，并保留来源信息用于核验与引用。