ทีมงาน Tencent Hunyuan เปิดตัวรุ่นเรือธง Hy3 รุ่นเชิงปริมาณ (พารามิเตอร์ 295B) เวอร์ชัน 1 บิต
(IQ1_M) บีบอัดน้ําหนักจาก 598 GB เป็น 85.5 GiB ซึ่งลดลง 6.7 เท่า ทําให้สามารถปรับใช้ด้วยการ์ดกราฟิกอนุมาน 96GB ตัวเดียว เวอร์ชัน 4 บิต (Q4_K_M) มีโวลุ่ม 169.9 GiB รองรับกราฟิกการ์ดสองตัว เวอร์ชันควอนตัมทํางานเกือบเต็มที่ เช่น ตัวแทน โค้ดหลายภาษา การเรียกใช้เครื่องมือ และความเข้าใจข้อความแบบยาว ทีมงานยังมีเวอร์ชัน GPTQ Int4 ที่รองรับการปรับใช้ vLLM ด้วยการถอดรหัสแบบเก็งกําไร MTP เวอร์ชัน 1 บิตจะได้รับความเร็วในการถอดรหัสประมาณ 50% ในขณะที่เวอร์ชัน 4 บิตดีขึ้นเกือบ 60% ทุกเวอร์ชันเป็นโอเพ่นซอร์สและบรรจุในรูปแบบ GGUF ซึ่งปรับให้เข้ากับระบบนิเวศของ llama.cpp
腾讯混元团队为旗舰模型 Hy3(295B 参数)推出量化版本。
1bit 版本(IQ1_M)将权重从 598 GB 压缩至 85.5 GiB,缩小 6.7 倍,单张 96GB 推理显卡即可部署;
4bit 版本(Q4_K_M)体积 169.9 GiB,两张显卡可承载。
量化版在 Agent、多语言代码、工具调用、长文理解等任务上表现接近满血模型。
团队还提供 GPTQ Int4 版本,支持 vLLM 部署。
配合 MTP 投机解码,1bit 版本解码速度提升约 50%,4bit 版本提升近 60%。
所有版本已开源并打包为 GGUF 格式,适配 llama.cpp 生态。