消费级显卡 VRAM 塞不下整棵超大 MoE 时,很多人以为只能上云。FlashML-org/FreeToken 把专家权重放进主机内存、GPU 只缓存热点专家,目标是在桌面机器上把前沿开源 MoE 跑到可交互。结论先说:FreeToken 适合「模型大于显存、又要 OpenAI 兼容接口接 Agent」的本地路径;模型本就塞进显存时,别指望它全面取代 llama.cpp / vLLM。本文是聚合结构:定位、项目卡、适合/不适合、最小安装、至少一个接到 Codex/兼容端点的用例、优缺点短表。版本与命令以你访问当日官方 README / docs 为准。

定位:边缘原生 MoE 服务解决什么、不解决什么
FreeToken 自称 edge-native MoE serving:把个人机器当成统一的弹性推理平台,而不是「小一号的数据中心 GPU」。核心直觉是——MoE 每步只用一部分专家,专家本体可以住在主机 RAM,GPU 侧用 LRU 缓存。
适合:NVIDIA 消费级 / 工作站卡;要在本地跑「显存装不下」的开源 MoE;需要 Anthropic/OpenAI 兼容 API 去接 Codex、Claude Code、自建 Agent。
不适合:无 NVIDIA / 非 Linux x86_64(以官方 Requirements 为准);模型已轻松整模进显存且你更在乎单请求极限吞吐——公开对比里,装得下时 llama.cpp / vLLM 往往仍更快;没有人愿意管 CUDA toolkit、驱动与首次 JIT。
![]()
论文与 README 给出的硬件跨度从 8GB 笔记本 GPU 到单卡工作站;具体 tok/s 以他们实验与社区复现为准,本文不把某一跑分写成你机器的承诺。
今晚可做的动作:写下你的 GPU 型号、显存、主机 RAM。RAM 吃紧就先别选「专家全放主机」的最大模型。
项目卡片
| 项 | 内容 |
|---|---|
| 仓库 | https://github.com/FlashML-org/FreeToken |
| 文档 / 安装 | docs/install.md;桌面端见 flashml.ai |
| 形态 | CLI / 引擎 + 可选桌面应用;OpenAI/Anthropic 兼容 API |
| 许可 | 以仓库 LICENSE 为准(安装前再确认) |
| 适合 | 本地超大 MoE、Agent 兼容端点、显存不够仍想交互 |
| 不适合 | 非其支持的硬件;已装得下且要极致单卡吞吐的场景 |

今晚可做的动作:打开 LICENSE 与 install.md 的 Requirements(驱动、CUDA、Python),把「不满足」写成 blocker,而不是装到一半再骂。
用例:本地 ft serve + OpenAI 兼容端点接到编码 Agent

用例:本地服务 + OpenAI 兼容端点接到编码 Agent。按官方 CLI,安装后用文档中的 serve / 等价命令拉起兼容端点,把 Codex 或其它 OpenAI 兼容客户端的 base_url 指过来,先跑一条「列出当前目录并总结 README」类只读任务。
验收:客户端能完成一次工具调用闭环;断开服务后客户端应明确失败而不是静默编造。模型名与量化格式以 FreeToken 当日支持列表为准。
补充:开源权重生态里还有 Mistral Large 等大杯可在 Hugging Face 获取——是否已被 FreeToken 支持矩阵收录,以仓库当日说明为准,不要假设「所有 HF MoE 都能一键跑」。

今晚可做的动作:只做冒烟——服务起来 → curl 兼容 chat/completions(或官方示例)→ 再接 Agent。curl 不通就先别接 Codex。
优缺点短表:何时仍用 llama.cpp / vLLM
| 做法 | 何时用它 |
|---|---|
| FreeToken | MoE 大于显存,又要桌面可交互 + 兼容 API 接 Agent |
| llama.cpp | 模型装得下或你已有成熟 GGUF 工作流,要简单可控 |
| vLLM 等 | 并行服务、集群或显存策略已围绕其建设 |
| 纯云 API | 本地硬件/运维成本高于账单,或合规允许出域 |
优点:直面「显存不够」;兼容接口对 Agent 友好;有安装文档与桌面选项。
缺点:硬件与驱动门槛;装得下时不一定更快;专家缓存与 PCIe 成为新瓶颈;要人维护版本。
今晚可做的动作:用上表勾一个主路径;主路径冒烟前禁止同时开三套引擎「都试试」。
安装与最小跑通(今晚就能做)
按官方 install:Linux x86_64 + NVIDIA(驱动要求见文档)+ Python≥3.10,推荐 uv:
uv venv && source .venv/bin/activate uv pip install "freetoken[accel]" # 随后按 README 拉取/指定模型,并启动兼容服务(子命令以当日文档为准) # 例:freetoken serve ... 或文档给出的等价入口
CUDA kernels 可能在首次使用时 JIT,需要文档要求的 CUDA toolkit / nvcc。桌面应用可从 flashml.ai 获取,适合不想先啃 CLI 的同学——但接 Codex 仍建议先打通 CLI 服务地址。
验收点:安装成功 → 服务监听 → 兼容请求返回 → 记一笔「如何停服/清缓存」。哪一步对不上就停。
今晚可做的动作:把实际成功的命令写进本机 runbook(不含密钥),明天换终端还能复现。
配置要点与翻车排查(第一周)
- 先确认驱动与 CUDA 版本,再装 Python 包;
- 专家缓存与 KV 的显存分配跟文档参数走,避免拍脑袋;
- Agent 侧设超时与重试上限,TTFT 变长时优先降模型或减上下文;
- 不要把本地兼容端点暴露到公网。
翻车排查
- 装得下却更慢:换回 llama.cpp/vLLM 对照;FreeToken 的优势在「装不下」。
- JIT / nvcc 失败:查 toolkit 是否在 PATH;按 install.md 补齐。
- Agent 超时:查 prefill 与专家换入;先缩上下文再换更大模型。
- 兼容字段不对:对照官方 API 说明,不要假设 100% 云端字段全集。
收尾:显存不够 → FreeToken → 兼容端点冒烟 → 再接 Codex。轮子在仓库里;你要做的是今晚冒烟与第一周硬件清单。curl 不通,就不要先怪 Agent「太笨」。


评论列表 (0条):
加载更多评论 Loading...