Shimmy：轻量本地模型运行工具（Rust，约5MB，启动<100ms）

Shimmy 是用 Rust 编写的轻量本地模型运行工具，体积约5MB，启动时间极快，支持自动发现 Ollama、Hugging Face、OpenAI 兼容 API 等。

简介

如果你已经用 Ollama 功能丰富但想要更快启动和更轻量的解决方案，可以看看 Shimmy。它用 Rust 编写，整体只有大约 5MB，启动时间不到 100ms，内存占用约 50MB。

亮点

• 单文件运行：下载完成即可直接使用
• 端口自动分配：无需复杂配置
• 自带 OpenAI 兼容 API
• 自动发现：支持 Hugging Face、Ollama 和本地模型
• 体积小、启动快，适合老机器

使用场景

• 想要快速上手本地模型的用户
• 需要一个简单、极简的本地推理运行环境

入口

• 官方仓库：
  （请参阅链接以获取更多安装与使用细节）

适用于想要一个“打开就跑”的本地模型运行解决方案的场景。

下载链接

GitHub：
https://github.com/Michael-A-Kuykendall/shimmy