Lorsque la mémoire vidéo (VRAM) d’une carte graphique grand public ne suffit pas à contenir l’intégralité d’un modèle MoE de très grande taille, beaucoup pensent qu’il n’y a d’autre solution que de recourir au cloud.FlashML-org/FreeToken En stockant les poids des experts dans la mémoire centrale et en ne mettant en cache sur le GPU que les experts les plus sollicités, l'objectif est de rendre le MoE open source de pointe suffisamment interactif sur un ordinateur de bureau. Commençons par la conclusion :FreeToken est adapté aux cas où « le modèle est trop volumineux pour tenir dans la mémoire graphique et où une interface compatible OpenAI est nécessaire pour connecter un agent » ; lorsque le modèle tient déjà dans la mémoire graphique, ne vous attendez pas à ce qu’il remplace entièrement llama.cpp / vLLM.. Cet article estStructure d'agrégation: Positionnement, fiche de projet, compatibilité/incompatibilité, configuration minimale, au moins un cas d'utilisation connecté à Codex ou à un terminal compatible, bref aperçu des avantages et inconvénients. Les versions et les commandes sont celles indiquées dans le README / la documentation officielle à la date de votre consultation.

Positionnement : ce que les services MoE natifs en périphérie résolvent et ce qu'ils ne résolvent pas
FreeToken se présente comme un service MoE « edge-native » : il transforme les machines personnelles en une plateforme de raisonnement unifiée et évolutive, plutôt qu’en « GPU de centre de données à petite échelle ». L’idée centrale est la suivante : à chaque étape, le MoE n’utilise qu’une partie des experts, dont le corps peut résider dans la mémoire vive (RAM) de l’hôte, tandis que le côté GPU utilise une mémoire cache LRU.
Convient à :Cartes graphiques NVIDIA grand public / pour stations de travail ; pour exécuter localement des modèles MoE open source dont « la mémoire graphique ne suffit pas » ; besoin d’une API compatible avec Anthropic/OpenAI pour s’interfacer avec Codex, Claude Code et des agents développés en interne.
Ne convient pas :Sans NVIDIA / autre que Linux x86_64 (selon les exigences officielles) ; le modèle tient facilement dans la mémoire graphique et vous accordez davantage d’importance au débit maximal par requête — dans les comparaisons publiques, lorsque le modèle tient dans la mémoire, llama.cpp / vLLM s’avèrent souvent plus rapides ; Personne ne veut se soucier du kit d’outils CUDA, des pilotes et de la première compilation JIT.
![]()
Le matériel mentionné dans l'article et le fichier README va d'une carte graphique d'ordinateur portable de 8 Go à une station de travail à carte unique ; les valeurs spécifiques en tok/s dépendent des résultats de leurs expériences et de la reproductibilité par la communauté. Cet article ne présente aucun score de performance comme une garantie pour votre machine.
Activités possibles ce soir :Indiquez le modèle de votre GPU, la capacité de sa mémoire vidéo et la quantité de RAM de votre ordinateur. Si vous manquez de RAM, évitez dans un premier temps de choisir le modèle le plus volumineux proposé par « Expert : tout mettre sur l'ordinateur ».
Fiche de projet
| 项 | Contenu |
|---|---|
| Entrepôt | https://github.com/FlashML-org/FreeToken |
| Documentation / Installation | docs/install.md; pour la version bureau, rendez-vous sur flashml.ai |
| Morphologie | CLI / Moteur + application de bureau facultative ; API compatible avec OpenAI/Anthropic |
| Autorisation | Sous réserve de la licence du dépôt (à vérifier avant l'installation) |
| Convient à | MoE local ultra-volumineux, terminaux compatibles avec les agents, mémoire graphique insuffisante mais envie de continuer à interagir |
| Ne convient pas | Matériel non pris en charge ; cas où l'installation est possible et où un débit maximal avec une seule carte est requis |

Activités possibles ce soir :Ouvrez les fichiers LICENSE et install.md (section « Requirements » : pilotes, CUDA, Python), et indiquez « non satisfait » comme obstacle, plutôt que de vous plaindre une fois l'installation à moitié terminée.
Cas d'utilisation : « ft serve » local + point de terminaison compatible OpenAI connecté à l'Agent de codage

Cas d'utilisation : service local + point de terminaison compatible OpenAI connecté à un agent de codage.Conformément à l'interface CLI officielle, après l'installation, lancez un point de terminaison compatible à l'aide de la commande « serve » ou d'une commande équivalente mentionnée dans la documentation, puis connectez-vous à l'aide de Codex ou d'un autre client compatible avec OpenAI. base_url Allez-y, commencez par effectuer une tâche en lecture seule du type « afficher le répertoire actuel et résumer le fichier README ».
Validation : le client doit pouvoir effectuer un cycle complet d'appel de l'outil ; en cas d'interruption du service, le client doit signaler clairement l'échec au lieu de générer une erreur silencieuse. Le nom du modèle et le format de quantification doivent respecter la liste des formats pris en charge par FreeToken ce jour-là.
Remarque : dans l'écosystème des modèles open source, d'autres modèles de grande taille, tels que Mistral Large, sont disponibles sur Hugging Face. Pour savoir s'ils sont déjà pris en charge par la matrice de compatibilité FreeToken, veuillez vous référer aux informations fournies ce jour-là dans le dépôt ; ne partez pas du principe que « tous les modèles HF MoE peuvent être exécutés d'un simple clic ».

Activités possibles ce soir :Se contenter de « Smokey » — passer au service → compatibilité de curl avec chat/completions (ou exemple officiel) → puis connecter Agent. Si curl ne fonctionne pas, ne connectez pas Codex pour l'instant.
Tableau récapitulatif des avantages et inconvénients : quand continuer à utiliser llama.cpp / vLLM
| Préparation | Quand l'utiliser ? |
|---|---|
| FreeToken | Le MoE est supérieur à la mémoire vidéo, et il faut à la fois une interface interactive sur le bureau et une API compatible pour se connecter à l'Agent |
| llama.cpp | Le modèle est compatible ou vous disposez déjà d'un workflow GGUF bien rodé ; vous recherchez une solution simple et facile à gérer |
| vLLM, etc. | Les services parallèles, les clusters ou les stratégies de mémoire graphique ont été conçus autour de cela |
| API Pure Cloud | Les coûts liés au matériel et à l'exploitation sur site sont supérieurs à ceux indiqués sur la facture, ou la conformité autorise le transfert hors zone. |
Avantages :Résout le problème du « manque de mémoire vidéo » ; interface compatible et conviviale pour les agents ; comprend une documentation d'installation et des options de bureau.
Inconvénients :Contraintes matérielles et de pilotes ; une capacité de stockage plus importante ne garantit pas nécessairement une vitesse supérieure ; la mémoire cache spécialisée et le PCIe deviennent de nouveaux goulots d'étranglement ; nécessite une maintenance régulière.
Activités possibles ce soir :Utilisez le tableau ci-dessus pour définir un parcours principal ; avant que le parcours principal ne commence à fumer, il est interdit d'utiliser trois moteurs en même temps — « essayez-les tous ».
Installation et premier test de fonctionnement (à réaliser dès ce soir)
Selon les instructions d'installation officielles : Linux x86_64 + NVIDIA (voir la documentation pour les exigences en matière de pilotes) + Python ≥ 3.10 ; uv est recommandé :
uv venv && source .venv/bin/activate uv pip install "freetoken[accel]" # Ensuite, récupérez ou spécifiez le modèle conformément au README, puis lancez le service compatible (les sous-commandes dépendent de la documentation du jour) # Exemple : freetoken serve ... ou l'équivalent indiqué dans la documentation
Les noyaux CUDA peuvent faire l'objet d'une compilation JIT lors de leur première utilisation ; le kit d'outils CUDA requis par la documentation est nécessaire / nvcc. L'application de bureau est disponible sur flashml.ai ; elle convient à ceux qui ne souhaitent pas se lancer tout de suite dans l'apprentissage de l'interface en ligne de commande (CLI) — mais pour intégrer Codex, il est tout de même recommandé de commencer par configurer l'adresse du service CLI.
Points de contrôle :Installation réussie → Le service est à l'écoute → Réponse de compatibilité reçue → Noter « Comment arrêter le service / vider le cache ». Si une étape ne correspond pas, arrêter là.
Activités possibles ce soir :Enregistrez les commandes qui ont effectivement fonctionné dans le runbook local (sans inclure les clés) ; vous pourrez ainsi les reproduire demain, même sur un autre terminal.
Points clés de la configuration et dépannage en cas de plantage (première semaine)
- Vérifiez d'abord la version du pilote et de CUDA, puis installez les paquets Python ;
- L'allocation de mémoire vidéo pour le cache expert et le KV doit suivre les paramètres indiqués dans la documentation, afin d'éviter toute décision prise à l'aveuglette ;
- Définir un délai d'expiration et une limite de tentatives de réessai côté Agent ; lorsque le TTFT s'allonge, privilégier la réduction du modèle ou du contexte ;
- N'exposez pas les points de terminaison compatibles locaux sur le réseau public.
Analyse des causes d'un accident
- Il a plus de capacité, mais il est plus lent :Revenons à la comparaison avec llama.cpp/vLLM ; l'avantage de FreeToken réside dans le fait qu'il est « impossible à remplir ».
- Échec JIT / nvcc :Vérifiez si le toolkit se trouve dans le PATH ; complétez-le conformément au fichier install.md.
- Délai d'attente de l'agent :Vérifier le « prefill » et le remplacement par un expert ; réduire d'abord le contexte, puis passer à un modèle plus grand.
- Le champ de compatibilité est incorrect :Conformément à la documentation officielle de l'API, ne partez pas du principe que l'ensemble des champs est disponible à 100 % dans le cloud.
Conclusion : mémoire vidéo insuffisante → FreeToken → test de compatibilité des points de terminaison → puis Codex. Tout est prêt dans le dépôt ; ce que tu dois faire ce soir, c'est le test de compatibilité et la liste du matériel pour la première semaine. Si curl ne fonctionne pas, ne t'empresse pas de reprocher à l'Agent d'être « trop bête ».


评论列表 (0条):
加载更多评论 Chargement...