騰訊の環源チームは、旗艦モデルHy3(295Bパラメータ)の定量版を発表しました。 1ビット版(IQ1_M)は重量を598GBから85.5 GiBに圧縮し、6.7倍の削減を実現し、96GBの推論グラフィックスカード1枚で展開可能となりました。 4ビット版(Q4_K_M)は169.9 GiBの容量を持ち、2枚の...
騰訊の環源チームは、旗艦モデルHy3(295Bパラメータ)の定量版を発表しました。
1ビット版(IQ1_M)は重量を598GBから85.5 GiBに圧縮し、6.7倍の削減を実現し、96GBの推論グラフィックスカード1枚で展開可能となりました。 4ビット版(Q4_K_M)は169.9 GiBの容量を持ち、2枚のグラフィックスカードをサポートしています。 定量版はエージェント、多言語コード、ツール呼び出し、長文テキスト理解などのタスクにほぼ完全に対応します。 また、チームはvLLM展開をサポートするGPTQ Int4バージョンも提供しています。 MTPの投機的復号では、1ビット版は約50%の復号速度が向上し、4ビット版は約60%向上します。 すべてのバージョンはオープンソースで、GGUF形式でパッケージ化され、llama.cppエコシステムに合わせて適応されています。
腾讯混元团队为旗舰模型 Hy3（295B 参数）推出量化版本。
1bit 版本（IQ1_M）将权重从 598 GB 压缩至 85.5 GiB，缩小 6.7 倍，单张 96GB 推理显卡即可部署；
4bit 版本（Q4_K_M）体积 169.9 GiB，两张显卡可承载。
量化版在 Agent、多语言代码、工具调用、长文理解等任务上表现接近满血模型。
团队还提供 GPTQ Int4 版本，支持 vLLM 部署。
配合 MTP 投机解码，1bit 版本解码速度提升约 50%，4bit 版本提升近 60%。
所有版本已开源并打包为 GGUF 格式，适配 llama.cpp 生态。
腾讯混元为295B参数的Hy3发布1bit、4bit及GPTQ Int4量化版本。1bit权重压缩至85.5 GiB，可在单张96GB推理显卡部署；4bit体积为169.9 GiB，可由两张显卡承载。
此次量化以Hy3原始598 GB权重为基础，1bit版本缩小6.7倍。各版本已开源，其中GGUF格式适配llama.cpp生态，GPTQ Int4版本支持通过vLLM部署。
Aioga判断，此次更新的重点不只是压缩模型体积，还包括对不同推理生态的适配。单卡承载1bit版本，可能扩大开发者在有限显存条件下测试和部署Hy3的空间。
值得关注的是，材料称量化版在Agent、多语言代码、工具调用和长文理解任务上接近满血模型；配合MTP投机解码，1bit与4bit版本解码速度分别提升约50%和近60%。 后续值得关注不同硬件与实际业务负载下的性能表现，包括量化版本与满血模型的任务差异、显存占用、解码速度，以及GGUF和GPTQ Int4两条部署路径的适用范围。
取得元が提供するタイトル、要約、出典、元記事リンクを掲載しています。記事全文は転載していません。
取得経路: 要約集約 · 元ドメイン: mp.weixin.qq.com
出典: 公众号：腾讯混元
元記事: 元記事を開く
Aioga アーカイブ: 情報ページを開く
Content record: summary-fallback · Updated: 2026-07-14T08:56:07.000Z
统一接入主流 AI 模型 API，为开发、测试与生产环境提供稳定调用入口。
立即访问 api.w173.com
Scan to open this articleAioga は世界の AI 動向を集約し、確認と引用のため出典情報を保持します。