腾讯混元发文表示，Hy3上线并开源后，社区一直在呼吁量化版本，希望单卡跑参数量达295B的Hy3。团队针对开源社区需求，把Hy3的权重量化到1bit与4bit并打包成GGUF，配合llama.cpp生态，让原本只能跑在多卡集群上的模型，最少一张推理显卡、乃至内存充足的本地机器也能跑起来。
风险提示及免责条款
市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。