IT之家：https://www.ithome.com/ 7 月 14 日消息，今日腾讯混元发文表示，Hy3 上线并开源后，社区一直在呼吁量化版本，希望单卡跑参数量达 295B 的 Hy3。团队针对开源社区需求，把 Hy3 的权重量化到 1bit 与 4bit 并打包成 GGUF，配合 llama.cpp 生态，让原本只能跑在多卡集群上的模型，最少一张推理显卡、乃至内存充足的本地机器也能跑起来。
从模型上看，腾讯混元 Hy3 是一个 295B 参数的旗舰模型，展现出显著强于同尺寸模型的智能水平，并比肩更大尺寸旗舰模型的效果，大幅提升了在各类产品和生产力任务中的实用价值，但是它的 BF16 权重接近 600 GB，要完整发挥实力，离不开多卡服务器这样的部署环境。
我们首先提供了 1bit 极限量化版本 IQ1_M，把权重从 598 GB 一路压到 85.5GiB，整整缩小了 6.7 倍。这意味着一张 96GB 的推理显卡就能部署。对于硬件最受限、又想在本地把旗舰模型跑起来的场景，Hy3 1bit 版本是我们所推荐的。
同时，我们也提供了 4bit 量化版本 Q4_K_M，体积 169.9GiB，两张推理显卡即可承载，如果目标是在有限资源成本内拿到更接近满血模型的效果，推荐就选 Hy3 4bit 版本。
我们还提供了 GPTQ Int4 版本，它可以直接通过 vLLM 部署对外提供服务，天然享受 vLLM 生态在高并发、低延迟上的红利，更贴合服务端部署的需求。
判断量化好不好，最直接的是看它和原始模型的输出分布有多接近。4bit 版本在这一点上表现得相当出色，绝大多数位置上给出的首选答案以及 Top-K 概率分布都和 BF16 模型保持一致。落到实际任务上同样如此，无论是 Agent 能力，多语言代码、工具调用，还是长文理解，成绩都贴近满血模型。除此之外，GPTQ Int4 模型在评测集上的掉点幅度也非常有限，整体完全在可接受范围内。
真正让我们有些意外的是 1bit 版本。按直觉，压到 1bit 附近模型多少会变笨，但我们的 Hy3 1bit 版本在主流任务上依然站得很稳。长文理解几乎和原始模型持平，Agent 与代码方向也保持得相当好，只有小幅回落。放到日常的编码辅助、工具调用、长文档处理和常规问答任务上，它已经完全够用。
要让 Hy3 真正跑顺，MTP 投机解码必不可少。为此我们专门开发了 llama.cpp 的 patch，补齐了对 Hy3 模型结构的 MTP 的支持，并直接发布了可用的构建与部署指引（详见 https://huggingface.co/ AngelSlim / Hy3-GGUF ），开启 MTP 后，接受率稳定在 60% 左右，1bit 版本的解码速度提升约 50% ，4bit 版本提升接近 60% ，实际交互体验依然流畅。
Scan to open this article