Rapid-MLX 在 M1/M2 Mac 上本地推理：比 Ollama 快 2-4 倍的极速速成路径

在苹果 M 系列 Mac 本地跑大模型，Rapid-MLX 提升推理速度并实现多模态与工具调用自动兼容。

概要

Rapid-MLX 在苹果芯片上本地跑大模型，推理速度比 Ollama 快 2 到 4 倍。对于 M 系列 Mac 用户，速度瓶颈将显著缓解。作为核心原因，其直接基于 MLX 框架开发，彻底发挥了架构潜力。

关键点

• KV 缓存裁剪 + DeltaNet 状态快照：多轮对话首 token 延迟约 0.08 秒，几乎不可察觉。
• 工具调用覆盖 17 种解析器：Qwen、DeepSeek、Gemma、GLM 等模型输出格式自动识别；量化内容出错时还能自动修复。
• 兼容 OpenAI API 规范：Cursor、Claude Code、Aider、LangChain 等直接接入，代码基本不用改动。
• 推理链分离、云端路由、多模态、KV 缓存压缩等能力同样得到支持。

适用对象

• M 系列 Mac 用户，若对 Ollama 的速度还不满意，可以尝试快速上手使用 Rapid-MLX。

参考

• 项目地址： https://github.com/raullenchai/Rapid-MLX

下载链接

GitHub：
https://github.com/raullenchai/Rapid-MLX