NextStep-1 : La "forme ultime" de la génération d'images autorégressives, le modèle paramétrique 14B Open Source !

"Il n'a plus besoin d'aide extérieure et se développe enfin en tant qu'artiste indépendant.

Dans le domaine de la génération d'images par l'IA, il semble que nous soyons habitués depuis longtemps à cette division du travail :
La modélisation de la diffusion "dessine", CLIP "voit", VQ-VAE "comprime" et LLM "pense" ! "......

Mais aujourd'hui, un nouveau produit appelé Prochaine étape-1 le modèle open-source qui tente de renverser le paradigme - il n'utilise que laArchitecture purement autorégressive pour 14B paramètresIl en résulte une qualité de génération qui rivalise avec les meilleurs modèles de diffusion, ainsi qu'une capacité à comprendre le langage courant et à modifier les images à la volée.

Quel "grand coup" l'équipe de StepFun a-t-elle réalisé cette fois-ci ? Découvrons-le.

🎨 Redéfinir le retour sur soi : Dites adieu à l'"aide étrangère" et devenez un véritable artiste !

Les modèles autorégressifs ont longtemps été invincibles dans le domaine du texte, mais dans le domaine de la génération d'images, ils n'ont pas été "appropriés" pendant de nombreuses années.
Les tentatives passées ont généralement été confrontées à deux dilemmes :

• le dilemme discretl'image doit être comprimée en un nombre fini de symboles discrets par la VQ-VAE, ce qui entraîne une perte d'informations
• Dépendance à l'égard de l'aide extérieureLe décodage : nécessite un grand modèle de diffusion en tant que "décodeur", dont l'architecture est lourde et l'apprentissage complexe.

NextStep-1's Core Breakthrough (en anglais): :

Générer l'image Patch directement dans l'espace visuel continu de manière autorégressive

Il se compose de deux parties :

• Transformateur backbone avec paramètres 14BLes services de la Commission européenne sont chargés de comprendre le contenu, de planifier la composition et de contrôler l'image globale.
• Tête d'adaptation du débit pour le paramètre 157M.Transformer : Transformer les idées en pixels, comme un "pinceau" !

Cette architecture apporte des changements révolutionnaires :
✅ Pas besoin de discrétisationLe système de gestion des données : conserve toute la richesse des données visuelles.
✅ Formation complèteLes modèles de diffusion externes ne sont plus suffisants pour "sauver la mise".
✅ Une architecture extrêmement épuréeLes résultats de l'évaluation de l'efficacité de la formation : Un niveau élevé d'harmonisation dans l'ensemble du système pour une formation plus efficace.

Un chercheur s'est exclamé : "C'est comme si vous voyiez votre propre enfant enfin capable de terminer un tableau tout seul, sans avoir besoin d'un parent pour le tenir par la main".

🔬 Deux "alchimies" techniques : faire fonctionner les modèles autorégressifs pour les images

L'équipe de Step Star a révélé deux résultats clés dans son article, qui peut être considéré comme l'"étalon-or" de la génération d'images autorégressives :

1️⃣ Le véritable "artiste" est Transformer !

L'équipe l'a découvert par l'expérimentation :La taille de la tête de correspondance des flux (157M → 528M) a un effet minime sur la qualité de l'image finale..
En d'autres termes :

• L'épine dorsale du transformateur entreprend 90%+ de "travail créatif".
• Le Stream Match Header n'agit que comme un "exécuteur" léger, convertissant fidèlement les idées en images.
• Les modèles autorégressifs peuvent véritablement "penser" et "créer" par eux-mêmes.

"Cela prouve que Transformer peut être non seulement un langage, mais aussi un artiste dans le domaine visuel. --Équipe de recherche

2️⃣ Les deux principaux "tours de magie" de Tokenizer

Dans le cadre de l'étiquetage visuel continu, l'équipe a découvert deux techniques clés :

• Normalisation par canal
  Les propriétés statistiques des marqueurs sont efficacement stabilisées par une simple normalisation. Génère des images claires sans artefacts, même dans le cas d'un guidage CFG de haute intensité.
• "Plus de bruit = meilleure qualité".
  Un résultat contre-intuitif : lors de l'apprentissage du tokenizerAjout d'une régularisation du bruitAu contraire, il améliore considérablement la qualité de l'image finale.
  L'équipe a émis l'hypothèse que cela façonne un espace potentiel plus robuste et uniformément réparti, fournissant une "toile" idéale pour les modèles autorégressifs.

🖼️ Démonstration de la fonctionnalité : il ne s'agit pas seulement de générer, mais de "changer".

NextStep-1 ne se contente pas de générer des images "à partir de rien", il comprend également les commandes humaines et les édite avec la précision d'un designer professionnel.

Brûleur Bunsen haute fidélité

Générer des images détaillées et bien composées avec une seule commande :

"La photographie hyperréaliste de l'aube au bord d'un lac serein, les pins se reflétant dans l'eau calme, la brume s'élevant à la surface, la lumière douce et dorée perçant les pics montagneux au loin". "Un lac serein à l'aube, des pins se reflétant dans l'eau calme, de la brume s'élevant à la surface, une douce lumière dorée perçant les pics montagneux au loin, photographie hyperréaliste.

✅ Éditeur d'images polyvalent

Ajout et suppression d'objets: :

"Ajoutez un ordinateur portable ouvert sur la table basse avec une tasse de café fumante à côté".

Modification du contexte: :

"Changez l'arrière-plan de cette photo du bureau à un coucher de soleil sur la plage.

Modification de la motion: :

"Faites passer le chien de l'image de la position assise à la position de saut.

migration des styles: :

"Convertissez cette photo en une peinture à l'huile de style Van Gogh, en conservant tous les personnages et les détails de la scène.

Les résultats concrets sont étonnants : non seulement il comprend le langage de tous les jours, mais il assure également la pré-édition et la post-édition des textes.cohérence visuelleCela permet d'éviter le problème de la "dérive de l'identité", qui est fréquent dans les méthodes traditionnelles.

Un designer a déclaré : "C'est comme si vous embauchiez un assistant polyvalent qui peut créer à partir de rien, mais aussi le modifier en fonction de vos idées".

📊 Données sur les performances : l'autorégression peut aussi remettre en cause le SOTA

Dans les revues spécialisées, le NextStep-1 a été une agréable surprise :

Encore plus passionnant :NextStep-1 a été en mesure de rivaliser avec les meilleurs modèles de diffusion dans plusieurs tests de référence.ce qui constitue une avancée sans précédent dans le domaine de l'architecture autorégressive.

⚠️ Relever le défi : les "pierres d'achoppement" de la croissance

L'équipe de Step Star n'a pas caché les limites du modèle et a énuméré avec franchise quatre défis majeurs :

1️⃣ Processus de génération instable

Occurrences occasionnelles pendant la génération dans un espace continu à haute dimension (16 canaux) :

• Bruit localisé/artéfacts de blocage
• interférences sonores globales
• Artéfacts de type grille (peut-être liés au codage positionnel 1D)

2️⃣ Délai de décodage séquentiel

La "nature" des modèles autorégressifs entraîne des goulets d'étranglement au niveau de la vitesse :

• 14B Le décodage séquentiel du transformateur de paramètres est le principal goulot d'étranglement
• L'échantillonnage en plusieurs étapes de l'en-tête de correspondance du flux introduit également des frais généraux.
• La génération d'un jeton unique prend environ 47,6 ms sur H100.

3️⃣ Défi haute résolution

• Convergence inefficace : davantage d'étapes de formation sont nécessaires
• Techniques à haute résolution pour la modélisation de la diffusion des transports difficiles
• Absence de biais d'induction de l'espace 2D

4️⃣ Difficultés de réglage fin supervisé (SFT)

• Dépendance à l'égard de données à grande échelle (des millions) pour un réglage fin stable
• Performances fragiles sur les petits ensembles de données : soit peu de succès, soit un surajustement complet.
• Difficulté à trouver un équilibre entre les "compétences génériques" et les "styles spécifiques".

L'équipe admet que "l'honnêteté au sujet de ces défis est la première étape pour faire avancer le domaine".

🚀 Comment démarrer ? Entièrement open source, déploiement en un clic

L'équipe de Step Star a mis au point le programme NextStep-1Entièrement open sourceL'installation ne nécessite que trois lignes de commande :

git clone https://github.com/stepfun-ai/NextStep-1
cd NextStep-1
pip install -r requirements.txt

L'équipe fournit également des tutoriels détaillés couvrant une variété de scénarios d'application, de l'utilisation de base à la personnalisation avancée.

🔮 Perspectives d'avenir : une nouvelle ère de génération d'images autorégressives

La sortie de NextStep-1 marque une nouvelle étape dans la génération d'images autorégressives :

• Simplicité architecturaleLa Commission européenne a adopté la directive sur la protection des données : plus de patchwork complexe, un seul modèle unifié
• Une formation efficaceLa formation de bout en bout pour éviter l'instabilité dans l'optimisation à plusieurs étapes
• Intégration des compétencesLes services d'aide à la décision : Expertise en matière de génération et d'édition, compréhension des instructions en langage naturel.

L'orientation future révélée par l'équipe de StepStar :

• Optimisation des en-têtes de correspondance de flux : réduction des paramètres, permettant une génération à étapes réduites
• Autorégression accélérée : exploration de nouvelles techniques telles que la prédiction multi-token
• Génération à haute résolution : développement d'un codage positionnel 2D spécifique à l'image
• Amélioration de SFT : Techniques efficaces de réglage fin pour les petites données

"Il ne s'agit que de la première étape de l'exploration. Nous pensons que cette voie 'propre' offrira une nouvelle perspective dans le domaine de la génération multimodale".

🌟 Écrire à la fin de la journée.

Le NextStep-1 est bien plus qu'un nouveau modèle, c'est la preuve d'un concept important :
Une architecture simple qui offre de puissantes possibilités.

Lorsque nous ne serons plus obsédés par l'idée de "créer le plus grand modèle", mais que nous reviendrons à l'essentiel, à savoir "comment faire en sorte que le modèle comprenne vraiment la création", la technologie de la génération IA pourrait inaugurer un nouveau bond en avant.

"Il n'est pas destiné à remplacer les modèles de diffusion, mais à fournir une nouvelle voie possible pour la génération d'images. -- Équipe Step Star

À l'heure où la technologie de l'IA évolue rapidement, NextStep-1 nous rappelle :
Parfois, les innovations les plus révolutionnaires proviennent précisément de la remise en question du paradigme sous-jacent.

Liens connexes: :

• Thèse :https://arxiv.org/abs/2508.10711
• Dépôt de code :https://github.com/stepfun-ai/NextStep-1
• Modèle à télécharger :https://huggingface.co/collections/stepfun-ai/nextstep-1
• Page d'accueil du projet :https://stepfun.ai/research/en/nextstep1