Para ser sincero, quando vi pela primeira vez que o Composer pode atingir uma velocidade de geração de 250 tokens/segundo, fiquei um pouco cético - não se trata de sacrificar a precisão pela velocidade, certo? Mas, após uma compreensão mais profunda, apercebi-me de que a sua elevada velocidade esconde um sólido apoio técnico.

Código de velocidade real: MXFP8 Formação de baixa precisão
O Composer utiliza o MXFP8, um formato de baixa precisão para formação e inferência, o que é, de facto, bastante raro na indústria. Os modelos tradicionais utilizam normalmente o FP16 ou mesmo o FP32, que é altamente preciso, mas tem uma grande quantidade de computação e utilização de memória, enquanto o MXFP8 pode aumentar a eficiência de computação várias vezes sem quase nenhuma perda de precisão. É como passar de um carro para um comboio de alta velocidade - viaja-se da mesma forma, mas a velocidade e a eficiência não são da mesma ordem de grandeza.
E o melhor de tudo é que pode raciocinar a alta velocidade sem a quantificação e a compressão de outros modelos. Já vi muitos modelos "optimizados" com todo o tipo de problemas estranhos depois de serem quantificados, mas o Composer utiliza esta otimização diretamente a partir da fase de treino, o que pode ser considerado a causa principal do estrangulamento da velocidade.
O poder de um cluster de GPU de mil placas
A equipa Cursor construiu um sistema de formação baseado em PyTorch e Ray, capaz de programar milhares de GPUs NVIDIA para trabalharem em paralelo. Esta escala é definitivamente considerada uma configuração de topo na indústria. Imagine milhares de placas gráficas de topo a fornecer potência de computação para o treino de modelos ao mesmo tempo. Este tipo de investimento em recursos não é algo que qualquer equipa possa fazer.
Mas a pilha de hardware é apenas a base, o que é realmente fantástico é a sua arquitetura de formação distribuída. Tanto quanto sei, muitas equipas podem não ser capazes de conceber um sistema de formação tão eficiente, mesmo que tenham o mesmo hardware. É como dar-nos os mesmos ingredientes, mas o prato feito por um chefe de topo não é o mesmo.
Vantagens exclusivas da modelação especializada híbrida
O Composer utiliza a arquitetura MoE, o que significa que ativa diferentes redes de peritos para diferentes tarefas. Por exemplo, utiliza um perito para código Python e outro para JavaScript. Esta conceção evita o fardo de "um modelo serve para todos" e permite que cada especialista se destaque na sua área de especialização.
E este tipo de arquitetura é especialmente adequado para cenários de geração de código - pense nisso, quando escrevemos código, isso envolve várias linguagens e várias estruturas, por isso, se deixarmos os profissionais fazerem coisas profissionais, a eficiência aumentará naturalmente.
No entanto, a velocidade é apenas um número, e o que realmente me impressionou foi o seu desempenho num ambiente de desenvolvimento real. Afinal de contas, quem diria não a um assistente de programação que é simultaneamente rápido e fiável?
评论列表 (7条):
加载更多评论 Carregando...