Quando a memória VRAM das placas gráficas de consumo não tem capacidade para armazenar um MoE de grandes dimensões na íntegra, muitas pessoas pensam que a única opção é recorrer à nuvem.FlashML-org/FreeToken Colocar o peso dos especialistas na memória da unidade central e a GPU armazenar apenas em cache os especialistas mais utilizados; o objetivo é conseguir que o MoE de código aberto de ponta funcione de forma interativa em computadores de secretária. A conclusão, para começar:O FreeToken é adequado para casos em que «o modelo é maior do que a memória gráfica e é necessária uma interface compatível com a OpenAI para ligar ao agente»; quando o modelo já cabe na memória gráfica, não espere que ele substitua totalmente o llama.cpp / vLLM. Este artigo éEstrutura de agregação: Localização, ficha do projeto, adequado/não adequado, instalação mínima, pelo menos um caso de utilização ligado ao Codex/pontos finais compatíveis, breve lista de vantagens e desvantagens. As versões e os comandos devem ser consultados no README / documentação oficial na data em que acederes.

Enquadramento: O que os serviços MoE nativos na periferia resolvem e o que não resolvem
O FreeToken autodenomina-se um serviço de MoE nativo de edge: transforma o computador pessoal numa plataforma de inferência unificada e elástica, em vez de uma «GPU de centro de dados em miniatura». A ideia central é a seguinte: o MoE utiliza apenas uma parte dos especialistas em cada passo, podendo o próprio conjunto de especialistas residir na memória RAM do computador, enquanto o lado da GPU utiliza a cache LRU.
Indicado para:Placas NVIDIA para o mercado de consumo / estações de trabalho; para executar localmente o MoE de código aberto que «não cabe na memória gráfica»; é necessária uma API compatível com a Anthropic/OpenAI para integrar o Codex, o Claude Code e agentes criados pelo utilizador.
Não é adequado para:Sem NVIDIA / não Linux x86_64 (conforme os requisitos oficiais); o modelo já foi facilmente carregado na memória gráfica e se o que mais lhe interessa é o débito máximo por pedido — em comparações públicas, quando cabe na memória, o llama.cpp / vLLM costuma ser mais rápido; Ninguém quer ter de lidar com o kit de ferramentas CUDA, os controladores e o JIT inicial.
![]()
O hardware abrangido pelo artigo e pelo ficheiro README vai desde GPUs de portáteis de 8 GB até estações de trabalho com uma única placa; os valores específicos em tok/s devem ser confirmados com base nos resultados dos seus experimentos e na reprodução pela comunidade; este artigo não apresenta qualquer pontuação de desempenho como uma garantia para o seu equipamento.
O que se pode fazer esta noite:Indique o modelo da sua GPU, a memória gráfica e a memória RAM do computador. Se a memória RAM estiver limitada, não escolha, por enquanto, o modelo mais avançado da opção «Especialista: utilizar toda a memória do computador».
Ficha do projeto
| 项 | Conteúdo |
|---|---|
| Armazém | https://github.com/FlashML-org/FreeToken |
| Documentação / Instalação | docs/install.md; na versão para computador, consulte flashml.ai |
| Morfologia | CLI / Motor + aplicação de secretária opcional; API compatível com OpenAI/Anthropic |
| Licença | De acordo com o repositório LICENSE (confirmar novamente antes da instalação) |
| Adequado para | MoE local de grande dimensão, terminais compatíveis com Agentes, falta de memória de vídeo mas ainda assim se pretende interagir |
| Não é adequado | Hardware não compatível; cenários em que já há espaço disponível e se pretende obter o máximo rendimento com uma única placa |

O que se pode fazer esta noite:Abra os ficheiros LICENSE e install.md (Requisitos: controladores, CUDA, Python) e altere «não cumpre» para «obstáculo», em vez de começar a queixar-se a meio da instalação.
Caso de utilização: «ft serve» local + ponto de acesso compatível com a OpenAI ligado ao agente de codificação

Caso de utilização: Serviço local + ponto de extremidade compatível com a OpenAI ligado ao agente de codificação.De acordo com a CLI oficial, após a instalação, inicie um ponto de acesso compatível utilizando o comando «serve» ou equivalente, conforme indicado na documentação, e utilize o Codex ou outro cliente compatível com a OpenAI para base_url Vem cá, vamos começar por uma tarefa de leitura, do tipo «listar o diretório atual e resumir o README».
Verificação: O cliente deve conseguir completar um ciclo completo de chamada da ferramenta; após a interrupção do serviço, o cliente deve indicar claramente uma falha, em vez de gerar um erro silencioso. O nome do modelo e o formato de quantificação devem seguir a lista de suportes do FreeToken do dia em questão.
Nota: No ecossistema de modelos de peso de código aberto, existem também modelos de grande dimensão, como o Mistral Large, disponíveis no Hugging Face — para saber se já foram incluídos na matriz de suporte do FreeToken, consulte as instruções do repositório nesse dia; não presuma que «todos os modelos do HF MoE podem ser executados com um único clique».

O que se pode fazer esta noite:Limitar-se ao «Smoke» — iniciar o serviço → compatibilidade do curl com chat/completions (ou exemplos oficiais) → ligar depois ao Agent. Se o curl não funcionar, não ligue ainda ao Codex.
Resumo das vantagens e desvantagens: quando continuar a utilizar o llama.cpp / vLLM
| Modo de preparo | Quando utilizá-lo |
|---|---|
| FreeToken | O MoE é maior do que a memória de vídeo, e é necessário que a interface de secretária seja interativa e compatível com a API para ligar ao Agent |
| llama.cpp | O modelo é compatível ou já dispõe de um fluxo de trabalho GGUF bem estabelecido, que seja simples e controlável |
| vLLM, entre outros | As estratégias de serviços paralelos, clusters ou memória de vídeo foram concebidas em torno da sua implementação |
| API Pure Cloud | Os custos locais com hardware/operação e manutenção são superiores aos indicados na fatura, ou a conformidade permite o tráfego para fora da rede |
Vantagens:Resolve o problema da «memória gráfica insuficiente»; possui interfaces compatíveis e fáceis de utilizar para o Agent; inclui documentação de instalação e opções no ambiente de trabalho.
Desvantagens:Barreiras relacionadas com o hardware e os controladores; nem sempre é mais rápido só porque cabe; a cache de especialistas e o PCIe tornaram-se os novos pontos de estrangulamento; é necessário que um especialista faça a manutenção da versão.
O que se pode fazer esta noite:Selecione um percurso principal na tabela acima; antes de o percurso principal começar a deitar fumo, é proibido ligar três motores em simultâneo — «experimente todos».
Instalação e execução mínima (pode ser feita ainda esta noite)
De acordo com as instruções oficiais de instalação: Linux x86_64 + NVIDIA (consulte a documentação para saber os requisitos do controlador) + Python ≥ 3.10; recomenda-se o uv:
uv venv && source .venv/bin/activate uv pip install "freetoken[accel]" # Em seguida, faça o pull ou especifique o modelo de acordo com o README e inicie o serviço compatível (os subcomandos devem seguir a documentação do dia) # Exemplo: freetoken serve ... ou o comando equivalente indicado na documentação
Os kernels CUDA podem ser compilados em tempo real (JIT) na primeira utilização, sendo necessário o CUDA Toolkit, conforme indicado na documentação / nvcc. A aplicação para computador pode ser descarregada em flashml.ai e é adequada para quem não quer começar por aprender a utilizar a CLI — mas, para integrar o Codex, recomenda-se ainda assim que se configure primeiro o endereço do serviço CLI.
Pontos de inspeção:Instalação bem-sucedida → Serviço em escuta → Resposta de compatibilidade recebida → Anotar «Como parar o serviço/limpar a cache». Se alguma etapa não corresponder, parar.
O que se pode fazer esta noite:Registe os comandos que funcionaram efetivamente no runbook local (sem incluir chaves secretas), para que seja possível reproduzi-los amanhã, mesmo que mude de terminal.
Pontos-chave da configuração e resolução de problemas (primeira semana)
- Verifique primeiro a versão do controlador e do CUDA e, em seguida, instale os pacotes Python;
- A alocação de memória de vídeo para o cache de especialistas e o KV deve seguir os parâmetros da documentação, evitando decisões arbitrárias;
- Definir no lado do Agente o tempo de espera e o limite de tentativas; quando o TTFT aumentar, dar prioridade à redução do modelo ou do contexto;
- Não exponha os pontos finais de compatibilidade local à rede pública.
Investigação de acidentes
- Cabe, mas é mais lento:Voltar à comparação com o llama.cpp/vLLM; a vantagem do FreeToken é que «não tem limite de capacidade».
- Falha do JIT / nvcc:Verifique se o toolkit está no PATH; complete conforme indicado no ficheiro install.md.
- Tempo limite do agente:Consultar o prefill e substituir por um modelo especializado; primeiro reduzir o contexto e, em seguida, substituir por um modelo maior.
- O campo de compatibilidade está incorreto:De acordo com a documentação oficial da API, não se deve partir do princípio de que 100% dos campos estão disponíveis na nuvem.
Conclusão: memória de vídeo insuficiente → FreeToken → teste de compatibilidade do endpoint → e depois o Codex. O código está no repositório; o que tens de fazer esta noite é o teste de compatibilidade e a lista de hardware da primeira semana. Se o curl não funcionar, não culpes logo o Agent por ser «muito burro».


评论列表 (0条):
加载更多评论 Carregando...