Cuando la memoria VRAM de una tarjeta gráfica de consumo no tiene capacidad suficiente para almacenar un MoE de gran tamaño, mucha gente piensa que la única opción es recurrir a la nube.FlashML-org/FreeToken Almacenar la ponderación de los expertos en la memoria del ordenador y que la GPU solo almacene en caché los expertos más solicitados; el objetivo es que el MoE de código abierto de vanguardia funcione de forma interactiva en ordenadores de sobremesa. La conclusión, por adelantado:FreeToken es adecuado para casos locales en los que «el modelo ocupa más que la memoria gráfica y se necesita una interfaz compatible con OpenAI para conectar el agente»; si el modelo ya cabe en la memoria gráfica, no esperes que sustituya por completo a llama.cpp / vLLM.. Este artículo esEstructura de polimerización: Posicionamiento, ficha del proyecto, adecuado/no adecuado, instalación mínima, al menos un caso de uso conectado a Codex o a un punto final compatible, breve lista de ventajas e inconvenientes. Las versiones y los comandos se rigen por el README o la documentación oficial del día en que accedas a ellos.

Enfoque: ¿Qué resuelven y qué no resuelven los servicios MoE nativos en el borde?
FreeToken se autodenomina un servicio de MoE nativo en el borde: convierte el ordenador personal en una plataforma de razonamiento unificada y elástica, en lugar de una «GPU de centro de datos a escala reducida». La idea central es que el MoE solo utiliza una parte de los expertos en cada paso, mientras que el conjunto de expertos puede residir en la memoria RAM del ordenador y la GPU utiliza una caché LRU.
Indicado para:Tarjetas NVIDIA para consumidores y estaciones de trabajo; se quiere ejecutar localmente un modelo MoE de código abierto que «no cabe en la memoria gráfica»; se necesita una API compatible con Anthropic/OpenAI para conectarse a Codex, Claude Code y agentes propios.
No apto para:Sin NVIDIA / no es Linux x86_64 (según los requisitos oficiales); el modelo ya cabe fácilmente en la memoria gráfica y te importa más el rendimiento máximo por solicitud: en las comparativas públicas, cuando cabe, llama.cpp / vLLM suelen ser aún más rápidos; Nadie quiere ocuparse del kit de herramientas CUDA, los controladores ni el JIT inicial.
![]()
El hardware mencionado en el artículo y en el archivo README abarca desde GPU de portátiles de 8 GB hasta estaciones de trabajo con una sola tarjeta; las cifras concretas en tok/s se basan en sus experimentos y en las reproducciones de la comunidad; este artículo no presenta ninguna puntuación como una garantía para tu equipo.
Actividades que se pueden realizar esta noche:Anota el modelo de tu GPU, la memoria gráfica y la RAM del ordenador. Si tienes poca RAM, no elijas de momento el modelo más grande de la opción «Experto: todo en el ordenador».
Ficha del proyecto
| 项 | Contenido |
|---|---|
| Almacén | https://github.com/FlashML-org/FreeToken |
| Documentación / Instalación | docs/install.md; Para la versión de escritorio, visita flashml.ai |
| Morfología | CLI / motor + aplicación de escritorio opcional; API compatible con OpenAI/Anthropic |
| Autorización | Se aplicará la licencia del repositorio (compruébalo antes de la instalación) |
| Adecuado para | MoE local de gran tamaño, terminales compatibles con Agent, se quiere seguir interactuando a pesar de la falta de memoria de vídeo |
| No es adecuado | Hardware no compatible; situaciones en las que ya cabe y se busca el máximo rendimiento con una sola tarjeta |

Actividades que se pueden realizar esta noche:Abre los archivos LICENSE e install.md, en la sección «Requisitos» (controladores, CUDA, Python), y cambia «no cumple» por «obstáculo», en lugar de quejarte cuando la instalación esté a medio hacer.
Caso de uso: «ft serve» local + punto de conexión compatible con OpenAI conectado al agente de codificación

Caso de uso: servicio local + punto de conexión compatible con OpenAI conectado al agente de codificación.Según la CLI oficial, tras la instalación, inicia un punto de acceso compatible mediante el comando «serve» o su equivalente, tal y como se indica en la documentación, y conecta Codex u otro cliente compatible con OpenAI. base_url Vamos a empezar con una tarea de solo lectura del tipo «enumerar el directorio actual y resumir el archivo README».
Verificación: el cliente debe poder completar un ciclo cerrado de llamada a la herramienta; tras la interrupción del servicio, el cliente debe indicar claramente el error, en lugar de generar un error silencioso. El nombre del modelo y el formato de cuantificación se regirán por la lista de compatibilidad de FreeToken de ese mismo día.
Nota adicional: En el ecosistema de modelos de peso de código abierto también hay modelos de gran tamaño, como Mistral Large, disponibles en Hugging Face. Para saber si ya han sido incluidos en la matriz de compatibilidad de FreeToken, consulta la descripción del repositorio de ese mismo día; no des por sentado que «todos los modelos de Hugging Face se pueden ejecutar con un solo clic».

Actividades que se pueden realizar esta noche:Limítate a «Smoke» — Ponlo en marcha → Compatibilidad de curl con chat/completions (o el ejemplo oficial) → A continuación, conecta el agente. Si curl no funciona, no conectes Codex todavía.
Resumen de ventajas e inconvenientes: ¿Cuándo seguir utilizando llama.cpp / vLLM?
| Preparación | Cuándo utilizarlo |
|---|---|
| FreeToken | El MoE es mayor que la memoria de vídeo, y además se requiere que el escritorio sea interactivo y que la API sea compatible para conectarse con el agente. |
| llama.cpp | El modelo debe ser compatible o bien ya dispones de un flujo de trabajo GGUF consolidado; debe ser sencillo y fácil de controlar. |
| vLLM, entre otros | Se han diseñado en torno a ellos los servicios en paralelo, los clústeres o las políticas de memoria gráfica |
| API de Pure Cloud | Los costes locales de hardware y mantenimiento son superiores a los de la factura, o la normativa permite el tráfico hacia el exterior |
Ventajas:Resuelve el problema de «memoria gráfica insuficiente»; cuenta con una interfaz compatible y fácil de usar para el agente; incluye documentación de instalación y opciones de escritorio.
Desventajas:Limitaciones de hardware y controladores; no siempre es más rápido aunque quepa; la caché de expertos y el PCIe se convierten en el nuevo cuello de botella; requiere personal especializado para el mantenimiento de las versiones.
Actividades que se pueden realizar esta noche:Utiliza la tabla anterior para trazar una ruta principal; antes de que la ruta principal empiece a echar humo, no se permite poner en marcha tres motores a la vez. «Pruébalos todos».
Instalación y primera ejecución (se puede hacer esta misma noche)
Según la instalación oficial: Linux x86_64 + NVIDIA (consulta la documentación para conocer los requisitos de los controladores) + Python ≥ 3.10; se recomienda uv:
uv venv && source .venv/bin/activate uv pip install "freetoken[accel]" # A continuación, descarga o especifica el modelo según las instrucciones del README e inicia el servicio compatible (los subcomandos deben ajustarse a la documentación vigente ese día) # Ejemplo: freetoken serve ... o el acceso equivalente indicado en la documentación
Es posible que los kernels de CUDA se compilen en tiempo de ejecución (JIT) la primera vez que se utilicen; se requiere el kit de herramientas de CUDA indicado en la documentación / nvcc. La aplicación de escritorio se puede descargar desde flashml.ai y es ideal para quienes no quieran empezar por la CLI; sin embargo, para integrar Codex, se recomienda configurar primero la dirección del servicio CLI.
Puntos de inspección:Instalación completada → El servicio está a la escucha → Se devuelve una solicitud compatible → Anotar «cómo detener el servicio/vaciar la caché». Si algún paso no coincide, detenerlo.
Actividades que se pueden realizar esta noche:Anota los comandos que hayan funcionado realmente en el runbook local (sin incluir claves), para que puedas reproducirlos mañana aunque cambies de terminal.
Puntos clave de la configuración y resolución de problemas (primera semana)
- Comprueba primero la versión del controlador y de CUDA, y después instala los paquetes de Python;
- La asignación de memoria de caché de los expertos y de KV debe ajustarse a los parámetros del documento, para evitar decisiones arbitrarias;
- En el lado del agente se establecen un tiempo de espera y un límite de reintentos; cuando el TTFT se alarga, se da prioridad a reducir el modelo o el contexto;
- 不要把本地兼容端点暴露到公网。
Investigación de accidentes
- 装得下却更慢:换回 llama.cpp/vLLM 对照;FreeToken 的优势在「装不下」。
- JIT / nvcc 失败:查 toolkit 是否在 PATH;按 install.md 补齐。
- Agent 超时:查 prefill 与专家换入;先缩上下文再换更大模型。
- 兼容字段不对:对照官方 API 说明,不要假设 100% 云端字段全集。
收尾:显存不够 → FreeToken → 兼容端点冒烟 → 再接 Codex。轮子在仓库里;你要做的是今晚冒烟与第一周硬件清单。curl 不通,就不要先怪 Agent「太笨」。


评论列表 (0条):
加载更多评论 Cargando...