Apple Silicon 统一内存的Mac 越买越多,家里一台 MacBook、一台 Mac mini、一台 Mac Studio,每一台单独都塞不下 671B 参数的大模型,于是大部分算力在吃灰。买 8 张 H100 组集群对个人是玩笑,但把现有设备拼成一台"大内存机器"不是——缺的只是一层像样的分布式推理软件。
exo 就是干这件事的:它把同一网络里的所有设备组成一个 AI 集群,自动发现、自动切分模型,让单机装不下的模型跑起来,而且设备越多跑得越快。本文从核心特性讲到集群组队规则,再给出上手指引与 API 用法,帮你判断这套方案适不适合自己的设备清单。
1、概述
exo 由 exo labs 团队维护,采用 Apache-2.0 许可证,定位一句话讲清:把家里所有电脑变成一台 AI 超算。它的推理后端是 Apple 的 MLX 框架,主战场是 Mac 集群;每台设备同时提供 API 服务与内置 Dashboard(默认端口 52415),任意一台都能充当整个集群的入口。
它的杀手锏是对新硬件的跟进速度。macOS 26.2 刚引入 RDMA 能力,exo 就给出了 day-0 支持,官方口径是设备间延迟降低 99%——配合 Thunderbolt 5 直连,几台 Mac Studio 之间的通信开销被压到接近单机水平。Jeff Geerling 在他的博客实测里用 4 台 512GB M3 Ultra Mac Studio 组出 15 TB 级内存的集群,跑通了 DeepSeek v3.1 671B(8-bit)与 Kimi K2 Thinking(原生 4-bit)。
核心特性一览如下:
| 特性 | 说明 |
|---|---|
| 自动设备发现 | 同网络同版本的设备自动组队,零手工配置 |
| TB5 RDMA | macOS 26.2 的 RDMA day-0 支持,设备间延迟降 99% |
| 拓扑感知并行 | 按实时拓扑与带宽决定模型切分方式 |
| 张量并行 | 2 台提速 1.8 倍,4 台提速 3.2 倍 |
| MLX 后端 | 基于 MLX 与 MLX distributed 做推理和通信 |
| 多协议 API | 兼容 OpenAI、Claude、Responses、Ollama 四种格式 |
| 自定义模型 | 从 HuggingFace Hub 加载任意 MLX 模型 |
2、集群如何组队
exo 的分布式设计里,最容易踩坑的不是并行算法,而是"哪些设备能组成一个集群"。README 把规则讲得很直白:设备之间要互相发现,必须同时满足三个一致。
组队条件如下:
| 条件 | 说明 |
|---|---|
| 版本一致 | 官方 App 与源码运行的版本号体系不同,混装默认不互通 |
| 集群名一致 | 默认 exo,同网络跑多套集群时用 --namespace 隔离 |
| 构建一致 | App 发行版与源码构建互认失败,Mac 与 Linux 也无法互通 |
版本混用的后果很实际:没升级的那台会直接掉出集群,Dashboard 上显示 DEVICE ON ANOTHER EXO VERSION,日志写在 ~/.exo/exo_log/exo.log 里。所以升级时必须全集群一起动,这对家庭多机环境是个纪律要求。
组网之后的拓扑结构大致如下:
RDMA 集群还有几条硬性要求:设备间必须全连接(每台都直连其他所有设备)、线缆必须支持 Thunderbolt 5、Mac Studio 上以太网口旁边那个 TB5 口不能用。开启方式略显极客——进恢复模式在终端执行 rdma_ctl enable 后重启,之后 exo 自动接管。不支持 TB5 的设备走 Wi-Fi 或以太网也能组集群,只是没有那 99% 的延迟优势。
3、快速上手
最省事的路径是 macOS App,要求 Apple Silicon 与 macOS 15.1 以上(RDMA 需 26.2 以上):
brew install --cask exo
装好后从菜单栏打开 EXO,授权"本地网络"权限,第二台 Mac 重复同样步骤,几秒内 Dashboard 就能看到对方。App 还提供 Thunderbolt 网络的一键配置:装一个小型系统服务,为每个 TB 口建立独立网络服务并关闭容易广播风暴的 Thunderbolt Bridge。
从源码跑也不复杂,macOS 上装好 Xcode、uv、node、rust 后三步完成:
git clone https://github.com/exo-explore/exo
cd exo/dashboard && npm install && npm run build && cd ..
uv sync --extra mlx
uv run exo
Linux 侧的流程相同,依赖换成 --extra mlx-cpu 或按显卡选 mlx-cuda13。但要注意现状:Linux 目前只跑 CPU,GPU 支持还在开发中,算力型任务现阶段还是 Mac 的主场。
集群管理常用环境变量如下:
| 变量 | 用途 |
|---|---|
EXO_MODELS_DIRS |
额外模型下载目录,比如外接 SSD |
EXO_MODELS_READ_ONLY_DIRS |
只读模型目录,适合 NFS 共享 |
EXO_OFFLINE |
离线模式,只用本地模型 |
EXO_ZENOH_NAMESPACE |
等效 --namespace 的集群隔离 |
4、API 使用
exo 同时暴露四种主流 API 格式,现有工具链基本零改造接入。以 OpenAI Chat Completions 为例:
curl -N -X POST http://localhost:52415/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "mlx-community/Llama-3.2-1B-Instruct-4bit",
"messages": [{"role": "user", "content": "Hello"}],
"stream": true
}'
Claude 格式走 /v1/messages,OpenAI Responses 走 /v1/responses,Ollama 兼容层在 /ollama/api/chat——OpenWebUI 这类依赖 Ollama 的前端可以直接指向 exo。
正式部署大模型前建议先预览切分方案,/instance/previews 会列出该模型所有合法的放置方式,包括流水线并行还是张量并行、每台设备的内存增量,选一个再 POST 到 /instance 创建实例。配套的 exo-bench 工具能批量测不同切分配置下的 prefill 与生成速度:
uv run bench/exo_bench.py \
--model Llama-3.2-1B-Instruct-4bit \
--sharding tensor --max-nodes 2 --repeat 3
输出包含 prompt_tps、generation_tps 与各节点内存峰值,拿它跑一轮再定切分策略,比凭感觉可靠得多。
5、适用与限制
判断 exo 适不适合你,先看它的边界。优势侧:Apple Silicon 统一内存是天然的大显存,4 台 512GB Mac Studio 就能凑出 2 TB 内存级别的推理集群,成本远低于等显存的 GPU 服务器;自动发现加 Dashboard 让运维成本接近零;四种 API 兼容意味着生态工具全部现成。
限制侧同样清晰。Linux 只支持 CPU;RDMA 依赖 macOS 26.2 与 Thunderbolt 5 硬件,旧机型享受不到;集群要求全版本一致,多机升级有协调成本;张量并行的 1.8 倍与 3.2 倍提速出自官方口径,具体到你的模型与线缆拓扑需要用 exo-bench 自测。另外自定义模型加载时 trust_remote_code 默认关闭,需要显式开启,安全意识值得肯定。
6、总结
exo 解决的问题很纯粹:单机内存不够时,让多台设备像一台机器一样工作。它的完成度体现在细节里——自动发现让组队零配置,拓扑感知让切分自动化,RDMA day-0 支持让新硬件红利立刻兑现,四协议兼容让存量工具无缝迁移。
对于手里有两台以上 Apple Silicon Mac 的开发者,建议先用两台旧机器跑通集群,体验张量并行的提速再决定是否扩展;对于 Linux 用户,建议关注 GPU 支持的进展,现阶段 CPU 推理只适合轻量模型;对于追求极致吞吐的团队,建议用 exo-bench 实测目标模型在你拓扑下的真实数据,再与单机方案对比做选型。硬件在手的话,装个 App 的成本,值得一试。

