腾讯 Hy-MT2-1.8B-GGUF：1.8B 参数支持多语言翻译并可放入 llama.cpp 的笔记本运行

腾讯发布 Hy-MT2-1.8B-GGUF 多语言翻译模型，支持 33 种语言、可通过 llama.cpp 部署，体积更友好，适合笔记本运行。

背景与要点

• 腾讯推出 Hy-MT2-1.8B-GGUF，具备 1.8B 参数、33 种语言互译，且可塞进 llama.cpp 中运行。
• 官方称小模型的综合表现甚至优于部分商用翻译 API。
• 体积更友好：继续压缩到约 440MB（1.25-bit 量化后）。该系列还包括 7B 和 30B-A3B 版本。
• 重要注意：GGUF 依赖 llama.cpp 的 STQ kernel（PR #22836），使用非官方量化版本可能跑不通。
• 官方链接： https://huggingface.co/tencent/Hy-MT2-1.8B-GGUF

使用要点

• 结构化指令支持：术语、文风、JSON/字幕等结构化指令均可处理。
• 适配场景：翻译、字幕、跨语言文本处理等。
• 部署提示：确保环境具备 STQ kernel 支持与兼容的量化版本。

下载/获取信息

• 官方主页链接（需自行核对可用性）： https://huggingface.co/tencent/Hy-MT2-1.8B-GGUF

备注：Apache-2.0 许可证。厂商信息仅作参考，实际效果需自行测试。

下载链接

下载链接：
https://huggingface.co/tencent/Hy-MT2-1.8B-GGUF