omlx 在 macOS 上本地大模型推理与分布式实验性实践（2024）

在 Mac 上本地运行大模型的高效热数据缓存与跨请求复用设计，支持 LLM/VLM/OCR/Embedding/Reranker，OpenAI 兼容 API。

概要

Mac 上跑本地大模型，风扇嗷嗷叫、卡成幻灯片？oMLX 就是为解决这类问题而来。核心特性包括持续后台服务、分层缓存、跨请求复用、以及对多种模型与工具的兼容性。

核心特性

• 连续批处理与分层 KV 缓存：热数据留内存，冷数据丢 SSD，提升延迟与吞吐。
• 跨请求复用：重启也不丢，资源利用效率高。
• 支持模型与工具集合：LLM、VLM、OCR、Embedding、Reranker 全部可跑。
• 兼容性：OpenAI API 直接对接，Claude Code、Codex 等工具可直接接上。
• 原生 macOS App，支持 Homebrew 安装与自动更新。
• 实验性功能：多 Mac 分布式推理，适用于规模化场景。

使用方式

• 环境安装：原生 macOS App，亦可通过 Homebrew 安装。
• 运行方式：启动后后台服务即刻就绪，进行连贯的推理任务。
• 兼容性：与 OpenAI API 完整对接，能够接入 Claude Code、Codex 等工具。

参考地址

• 项目地址：https://github.com/jundot/omlx

下载链接

GitHub：
https://github.com/jundot/omlx