Tencent AI Lab a lancé SongGeneration, un modèle de génération de musique open-source, qui relève les défis de la qualité sonore, de la musicalité et de la vitesse de génération grâce à une architecture technique et à des méthodes de formation innovantes. Le modèle prend en charge quatre fonctions essentielles : le contrôle intelligent du texte, le suivi précis du style, la génération de plusieurs pistes et le clonage du timbre, ce qui abaisse considérablement le seuil de la création musicale. La stratégie de formation en trois étapes et l'alignement multidimensionnel des préférences humaines améliorent encore l'effet de génération. Une évaluation autorisée montre que le modèle se classe au premier rang des modèles open source, proche du niveau des modèles commerciaux, et qu'il a été ouvert à l'expérience dans Hugging Face et GitHub, contribuant ainsi à populariser la création musicale intelligente.
- Ce résumé est généré par une IA qui analyse le contenu de l'article à des fins d'information uniquement.
Une nouvelle étape dans la création musicale par l'IA
Avec le développement rapide des technologies d'intelligence artificielle, le domaine de la création musicale connaît une évolution sans précédent. Récemment, le Tencent AI Lab a publié un modèle de génération de musique open-source appelé SongGeneration, une innovation qui apporte un soutien technique solide à la vision "tout le monde peut créer de la musique".
La création musicale traditionnelle exige souvent des connaissances musicales professionnelles et un équipement coûteux, mais l'émergence de SongGeneration brise complètement ces barrières. Le modèle est non seulement capable de générer des compositions musicales de haute qualité, mais surtout, il est ouvert à l'ensemble de la société sous la forme d'un logiciel libre, de sorte que tout utilisateur ordinaire peut faire l'expérience du charme de la création musicale assistée par l'IA.
Face aux défis courants que sont la mauvaise qualité du son, le manque de musicalité et la lenteur de la génération de musique, SongGeneration a résolu avec succès ces problèmes clés grâce à son architecture technique innovante et à sa méthodologie de formation, établissant ainsi une nouvelle référence dans le domaine de l'intelligence artificielle musicale.
SongGeneration modèle expérience adresse :https://huggingface.co/spaces/tencent/SongGeneration
Des fonctions puissantes qui mettent la création musicale à portée de main
SongGeneration est doté de quatre fonctions principales, chacune d'entre elles démontrant ses prouesses technologiques dans le domaine de la génération de musique :
Contrôle intelligent du texte
Les utilisateurs n'ont qu'à saisir une simple combinaison de mots-clés pour générer un morceau de musique complet correspondant au style et à l'ambiance souhaités. Par exemple, lorsque l'utilisateur saisit "happy pop", le système crée automatiquement une chanson pop à l'atmosphère joyeuse ; lorsque l'utilisateur saisit "intense rock", il génère un morceau de rock au rythme soutenu. Cette interaction intuitive rend la création musicale plus facile que jamais.
Style de précision suivant
Cette fonction permet aux utilisateurs de télécharger un clip audio de référence de 10 secondes ou plus, que SongGeneration analyse en profondeur et génère un nouveau morceau de musique avec un haut degré de cohérence. Qu'il s'agisse de pop, de rock, de musique chinoise ou de tout autre style "sacré", le modèle peut capturer et reproduire avec précision leur essence, tout en garantissant une bonne musicalité à la nouvelle musique générée.
Technologie de génération multi-orbite
SongGeneration génère automatiquement des pistes vocales et des pistes d'accompagnement séparées, une caractéristique très importante pour la production musicale. Le système garantit un degré élevé de correspondance mélodique, structurelle, rythmique et orchestrale, ce qui facilite grandement l'édition et le mixage de la musique en post-production.
Capacité de clonage des tonalités
Le suivi de la tonalité basée sur la référence permet à SongGeneration de générer des performances vocales qui sont des "clones de tonalité". Les chansons qui en résultent ont non seulement un son très proche de l'audio de référence, mais elles conservent également un son naturel et une qualité sonore exceptionnelle, tout en étant émotionnellement expressives.
Architecture technologique révolutionnaire et avancées innovantes
L'architecture technique de SongGeneration se compose de deux éléments principaux, le pipeline de traitement des données et le modèle génératif, et atteint des performances supérieures grâce à une série de technologies innovantes.
Pipeline de traitement des données
Le modèle construit un système complet de traitement des données musicales qui intègre plusieurs modules clés tels que la séparation de l'accompagnement audio, l'analyse de la structure et la reconnaissance des paroles. Grâce à ce pipeline, le système est en mesure d'extraire avec précision les informations sur les paroles à partir de l'audio brut, tout en obtenant d'importantes données étiquetées telles que la structure musicale, le type de genre, le niveau de qualité du son, etc.
Codecs à très faible débit binaire
SongGeneration a réalisé une percée majeure dans le domaine des codecs musicaux en développant le codec musical de haute qualité à double canal 48kHz au débit le plus bas de l'industrie pour la modélisation open source. Ce codec permet d'obtenir les meilleurs résultats de reconstruction musicale disponibles aujourd'hui à un débit très faible de seulement 25 Hz et 0,35 kbps, ce qui réduit considérablement la charge de modélisation des modèles de langage.
Le système est conçu avec deux modes de codage, Hybrid et Dual : les modes Hybrid unifient la modélisation des voix et des chœurs pour garantir leur cohérence harmonieuse, tandis que les modes Dual sont modélisés indépendamment les uns des autres pour donner une image plus claire des détails.
Prédiction parallèle de tokens multi-classes
Le modèle met en œuvre une stratégie de prédiction parallèle "mélange d'abord, double piste ensuite" pour plusieurs catégories de jetons. Tout d'abord, le modèle de langage prédit les jetons hybrides pour guider l'arrangement général des informations structurelles de haut niveau telles que la mélodie et le rythme, puis le décodeur autorégressif étendu modélise les jetons à deux pistes pour capturer les variations fines des voix et des chœurs. Cette conception permet une prédiction parallèle sans augmenter de manière significative la longueur des séquences et évite les interférences mutuelles entre les jetons.
Alignement multidimensionnel des préférences humaines
SongGeneration est le premier grand modèle de génération de musique qui aligne les préférences humaines multidimensionnelles, en se concentrant sur trois dimensions : la préférence pour la musicalité, la préférence pour l'alignement des paroles et la préférence pour la cohérence des indices :
| Type de préférence | Méthodes de construction | effet |
|---|---|---|
| préférence en matière de musicalité | Formation de modèles de récompense avec une petite quantité de données de notation étiquetées manuellement | Améliorer la qualité artistique et l'expérience d'écoute de la musique générée |
| Préférences d'alignement des paroles | Calcul du nombre d'erreurs de phonèmes à l'aide d'un modèle ASR pré-entraîné | S'assurer que les paroles correspondent bien à ce qui est chanté. |
| Préférences en matière de cohérence des indices | Calcul de la similarité texte-audio par MuQ-MuLan | Amélioration de la conformité du modèle avec les instructions de l'utilisateur |
Paradigme de formation en trois étapes
Le modèle adopte une stratégie de formation innovante en trois phases : la phase de préformation se concentre sur l'alignement modal des différentes entrées conditionnelles avec les représentations musicales ; la phase de formation d'extension modulaire forme des modules d'extension pour parvenir à une modélisation parallèle des jetons à deux pistes ; et la phase de formation d'alignement multi-préférences intègre les préférences humaines pour optimiser le modèle afin de générer de la musique qui correspond aux préférences humaines.
Reconnaissance officielle de l'excellence des performances
Afin d'évaluer de manière exhaustive la performance de SongGeneration, Tencent AI Lab, en collaboration avec l'école de musique et d'enregistrement de l'université de communication de Chine, a mis en place un système d'évaluation complet qui comprend une analyse objective et une perception subjective.
Résultats objectifs de l'évaluation
Dans le cadre d'une analyse objective des outils, SongGeneration a été comparé à plusieurs modèles commerciaux (Suno v4.5, Sponge Music, Mureka O1) et à des modèles open source (YuE, DiffRhythm, ACE-Step, SongGen) :
| Dimension de l'évaluation | SongGeneration Performance | Classement |
|---|---|---|
| Qualité de la production (PQ) | talentueux | être le numéro un (le meilleur ou le pire) |
| Appréciation du contenu (EC) | talentueux | être le numéro un (le meilleur ou le pire) |
| Utilitaire de contenu (UC) | talentueux | être le numéro un (le meilleur ou le pire) |
| Complexité de la production (PC) | favorable | plomb |
Résultats de l'évaluation subjective
SongGeneration a excellé dans plusieurs dimensions clés dans les évaluations manuelles subjectives :
- Précision des parolesLa performance du logiciel est supérieure à celle de nombreux grands modèles, y compris Suno, ce qui démontre un excellent alignement de la parole sur le texte.
- performance mélodiqueExcellente en termes de musicalité, d'expression émotionnelle et de sens de la ligne musicale.
- qualité de l'accompagnement: orchestration riche et variée et forte intégration avec le thème principal
- performance globaleLa version 4.5 de Suno est comparable à la dernière version de Suno, jusqu'au niveau du modèle commercial.
Les résultats des tests montrent que SongGeneration occupe fermement la première place parmi les modèles open-source et se classe également en tête dans la comparaison des modèles commerciaux, ce qui prouve pleinement sa force technique et sa valeur d'application.
L'écologie ouverte contribue à populariser la création musicale
SongGeneration n'est pas seulement technologiquement avancé, mais plus important encore, il est ouvert à la communauté en utilisant une approche entièrement open source, injectant une forte dynamique dans le développement de l'écosystème de l'IA musicale.
Approche de l'expérience multiplateforme
Actuellement, les utilisateurs peuvent découvrir SongGeneration par le biais de plusieurs canaux :
- Plate-forme d'étreinte: :https://huggingface.co/tencent/SongGeneration
- Dépôt open source GitHub: :https://github.com/tencent-ailab/SongGeneration
- document académique: :https://arxiv.org/abs/2506.07520
En tant que projet open source, SongGeneration ouvre une nouvelle voie pour le développement du domaine de l'IA musicale. Non seulement il abaisse le seuil technique de la création musicale, mais il fournit également de puissants outils de base aux chercheurs et aux développeurs. Avec la contribution continue de la communauté et l'itération permanente de la technologie, nous avons des raisons de croire que SongGeneration poussera l'ensemble de l'industrie de la création musicale vers une direction plus intelligente et plus populaire.
Cette étape importante marque une percée majeure dans la technologie de création musicale par l'IA, concrétisant ainsi la vision selon laquelle "tout le monde peut créer de la musique" et injectant des possibilités infinies dans le développement de l'industrie musicale à l'avenir.
评论列表 (5条)：
加载更多评论 Chargement...