找不到基准测试和下载链接?

看这里https://huggingface.co/AngelSlim/Hy3-GGUF 我们刚刚发布了 Hy3 的 1-bit 与 4-bit 版本,这是一个旗舰级 295B 模型,可在单张 GPU 上运行。

使用 llama.cpp 运行 Hy3,启用 MTP,在显著更低的硬件上体验强大的智能。

迫不及待想看到你们的作品。

#Hy3 #Hy #GGUF #llamacpp