Warum ist Composer 250 Token/Sekunde schneller?

Um ehrlich zu sein, als ich zum ersten Mal sah, dass Composer eine Generierungsgeschwindigkeit von 250 Token/Sekunde erreichen kann, war ich innerlich etwas skeptisch - das ist doch kein Opfer von Genauigkeit für Geschwindigkeit, oder? Aber nach einem tieferen Verständnis wurde mir klar, dass sich hinter der hohen Geschwindigkeit eine solide technische Unterstützung verbirgt.

True Speed Code: MXFP8 Low Precision Training

Composer verwendet MXFP8, ein Format mit geringer Genauigkeit für Training und Inferenz, was in der Branche eigentlich recht selten ist. Herkömmliche Modelle verwenden in der Regel FP16 oder sogar FP32, was zwar sehr genau ist, aber einen hohen Rechen- und Speicherbedarf mit sich bringt, während MXFP8 die Berechnungseffizienz um ein Vielfaches steigern kann, ohne dass die Genauigkeit darunter leidet. Das ist so, als würde man vom Auto auf einen Hochgeschwindigkeitszug umsteigen - man fährt dasselbe, aber die Geschwindigkeit und die Effizienz liegen nicht in der gleichen Größenordnung.

Und das Beste ist, dass es ohne die Quantisierung und Komprimierung anderer Modelle mit hoher Geschwindigkeit rechnen kann. Ich habe zu viele "optimierte" Modelle gesehen, die nach der Quantisierung alle möglichen seltsamen Probleme haben, aber Composer verwendet diese Optimierung direkt in der Trainingsphase, was als Hauptursache für den Geschwindigkeitsengpass angesehen werden kann.

Die Leistung eines Tausend-Karten-GPU-Clusters

Das Cursor-Team hat ein Trainingssystem auf der Grundlage von PyTorch und Ray entwickelt, das in der Lage ist, Tausende von NVIDIA-GPUs parallel arbeiten zu lassen. Diese Größenordnung wird in der Branche definitiv als Spitzenkonfiguration angesehen. Stellen Sie sich vor, dass Tausende von Top-Grafikkarten gleichzeitig Rechenleistung für die Modellschulung zur Verfügung stellen - diese Art von Ressourceninvestition kann nicht jedes Team leisten.

Aber der Hardware-Stack ist nur die Grundlage, das wirklich Tolle ist ihre verteilte Trainingsarchitektur. Soweit ich weiß, sind viele Teams nicht in der Lage, ein so effizientes Trainingssystem zu entwickeln, selbst wenn sie die gleiche Hardware haben. Das ist so, als würde man Ihnen die gleichen Zutaten geben, aber das von einem Spitzenkoch zubereitete Gericht ist einfach nicht dasselbe.

Einzigartige Vorteile der hybriden Expertenmodellierung

Der Composer verwendet die MoE-Architektur, d. h. er aktiviert verschiedene Expertennetzwerke für unterschiedliche Aufgaben. So wird beispielsweise ein Experte für Python-Code und ein anderer für JavaScript eingesetzt. Dieses Design vermeidet die Belastung durch "ein Modell für alle" und ermöglicht es jedem Experten, sich in seinem Fachgebiet auszuzeichnen.

Und diese Art von Architektur eignet sich besonders gut für Szenarien der Codegenerierung - denken Sie daran, dass wir beim Schreiben von Code mehrere Sprachen und mehrere Frameworks verwenden, so dass die Effizienz natürlich steigt, wenn wir die Arbeit von Profis erledigen lassen.

Andererseits ist Geschwindigkeit nur eine Zahl, und was mich wirklich beeindruckt hat, war die Leistung in einer echten Entwicklungsumgebung. Wer würde schon nein zu einem Programmierassistenten sagen, der sowohl schnell als auch zuverlässig ist?