Midjourney a publié une mise à jour v7 qui apporte un certain nombre d'améliorations significatives.La nouvelle version du mode rapide permet de réduire considérablement le temps de traitement.Le temps de chargement de la version v7 est d'environ 40 secondes en mode rapide et de 18 secondes en mode turbo. Cette amélioration ne se contente pas de rehausser l'expérience de l'utilisateur, elle permet également à la version v7 d'être presque deux fois moins chère que la précédente.
En outre, la v7 introduit un nouveauSystème de références multiplesLe paramètre Omni-Weight permet à l'utilisateur d'ajouter des éléments spécifiques à l'image, tels que des personnages, des objets, des véhicules ou des créatures. En ajustant le paramètre Omni-Weight, l'utilisateur peut contrôler la rigueur de l'image de référence, ce qui permet de générer des images plus précises.
Ces mises à jour sont particulièrement importantes pour les créateurs de contenu et les concepteurs qui ont besoin de générer efficacement des images de haute qualité, notamment dans des secteurs tels que le développement de jeux, la conception publicitaire et la production cinématographique.
---
Au cours d'une conversation approfondie sur la longue préformation contextuelle de Gemini, Logan et Nikolay abordent plusieurs sujets importants.
Tout d'abord, ils ont expliqué pourquoi ils ont choisi 1 million (1M) comme longueur de contexte. Nikolay a expliqué que c'était parce que 1M était 10 fois la longueur standard à l'époque, ce qui est conforme à ce que Google a toujours fait - toujours viser un ordre de grandeur plus élevé que le statu quo lors de la définition des objectifs.
Interrogé sur des contextes plus longs (par exemple, 1 à 2 millions ou plus), Nikolay a indiqué qu'ils avaient essayé 10 millions (10M), ce qui, bien que techniquement faisable, était coûteux et les ressources matérielles limitées.
À la question de savoir si les contextes longs invalident la génération assistée par récupération (RAG), Nikolay souligne que les deux se complètent et que la clé réside dans l'efficacité de l'utilisation des informations contextuelles.
Abordant le problème du simple trou d'épingle (NIAH), Nikolay a indiqué que ce type de problème a été largement résolu et que le véritable défi consiste à traiter les "interférences dures" et les trous d'épingle multiples, qui peuvent distraire le modèle.
Sur la raison pour laquelle il s'est concentré sur les NIAH, Nikolay a expliqué que des tâches d'évaluation trop complexes peuvent diluer le signal de capacité et conduire à des résultats d'évaluation ambigus.
Enfin, ils ont discuté de l'inadéquation entre la longueur des entrées et celle des sorties. Bien que des entrées plus longues puissent être traitées dans la phase de pré-entraînement, dans la pratique, le modèle tend à générer dans une certaine fourchette, même si des réponses plus longues sont nécessaires.
D'autres points notables sont à signaler :
- Ils n'ont pas observé d'effet "lost-in-the-middle".
- Il est important de noter qu'il peut y avoir un conflit entre la connaissance contextuelle et la connaissance des poids, ce qui doit être explicitement indiqué dans la requête.
- La voie à suivre est celle d'un traitement contextuel 10M plus rentable et plus précis, l'objectif ultime pouvant être 100M, mais cela pourrait nécessiter de nouvelles innovations en matière d'apprentissage en profondeur.
- Il ne suffit pas d'avoir un matériel puissant, il faut aussi de très bons ingénieurs en inférence pour le soutenir.
---
Afin de dépasser la limite des 10 millions d'euros, nous essayons les méthodes suivantes :
**Sparsité** : par exemple, Routing Transformer, qui réduit la complexité des calculs grâce à des mécanismes de routage.
**Économies de préremplissage** : les idées de Matroshka sont utilisées pour optimiser le processus de préremplissage et accroître l'efficacité.
Sorties anticipéesL'arrêt prématuré du calcul lorsque le modèle atteint un certain niveau de confiance permet de réduire la consommation inutile de ressources informatiques.
Le dialogue entre Logan et Nikolay apporte de nombreuses informations intéressantes :
- Pourquoi 1 million ? parce que c'était dix fois la norme à l'époque. Les employés de Google se fixent généralement pour objectif de décupler leurs performances par rapport au statu quo, et non de se contenter de les égaler ou de les dépasser légèrement.
- Pour plus de 1 à 2 millions d'euros, ils ont essayé 10 millions d'euros, ce qui est faisable mais coûteux et le matériel manque de ressources.
- Le RAG à contexte long n'est pas une application qui tue, les deux peuvent se compléter, tout dépend de l'efficacité avec laquelle vous remplissez le contexte.
- Le problème simple de "l'aiguille dans une botte de foin" a été résolu, mais la difficulté réside dans la gestion des "interférences difficiles", qui détournent l'attention. En outre, le problème des aiguilles multiples est difficile à résoudre en raison de la nécessité de diviser l'attention.
- Le choix de 1M d'entrées avec 8k de sorties s'explique par le fait que cela ne pose pas de problème dans la phase de pré-entraînement, mais que dans la phase de post-entraînement, le modèle peut avoir tendance à terminer la génération plus tôt, même si des réponses plus longues sont nécessaires.
- Ils n'ont pas observé le phénomène de "lost in the middle".
- Il est important de noter qu'il existe une distinction entre les connaissances en contexte et les connaissances en poids, et que des conflits peuvent survenir lors de l'utilisation du contexte pour mettre à jour les connaissances.
- La prochaine étape consistera à mettre en œuvre des contextes 10M moins chers et plus précis pour la plupart des bases de code. Et pour atteindre les 100 millions, il faudra probablement de nouvelles innovations en matière d'apprentissage en profondeur.
- Il ne suffit pas d'avoir des puces, il faut aussi des ingénieurs de raisonnement très talentueux.
---
Une nouvelle étude dans le domaine de la conception de modèles de langues étendues (LLM) pourrait marquer un tournant.Comme l'expérience de la Tour de Pise qui a ouvert la voie à la physique moderneCette étude révèle les véritables limites des différentes architectures LLM grâce à un environnement synthétique contrôlé de pré-entraînement. Cette découverte peut classer la recherche sur le LLM en deux catégories : "avant" et "après".
L'équipe de recherche a conçu un ensemble de données synthétiques pour tester systématiquement les performances de diverses architectures LLM. Ils ont constaté que certaines architectures étaient performantes pour des tâches spécifiques, mais qu'elles présentaient des lacunes importantes pour d'autres tâches. En outre, les chercheurs ont exploré les performances de ces architectures sur des ensembles de données de différentes tailles, ce qui a permis de clarifier davantage leur applicabilité et leurs limites. Ces résultats fournissent des indications précieuses pour les futures conceptions de LLM.
Les principales conclusions sont les suivantes :
- Certaines architectures sont performantes pour les textes longs, mais moins pour les textes courts.
- Certaines architectures sont plus performantes avec des ressources informatiques limitées et conviennent au déploiement d'appareils périphériques.
- Certaines conceptions architecturales novatrices présentent un grand potentiel dans les environnements d'apprentissage multitâches.
Les résultats de cette recherche sont non seulement importants pour le monde universitaire, mais fournissent également une référence pratique pour l'industrie afin d'aider les développeurs à choisir la bonne architecture LLM pour les applications du monde réel.
---
ChaiGenie est une extension Chrome basée sur les intégrations Gemini et Qdrant de LangChain, conçue pour une recherche efficace de documents. Elle prend en charge plusieurs langues et utilise la technologie de recherche vectorielle pour améliorer considérablement la précision et la rapidité de la recherche. En combinant une technologie avancée de traitement du langage naturel et une puissante base de données vectorielle, ChaiGenie peut aider les utilisateurs à trouver rapidement les informations dont ils ont besoin dans un grand nombre de documents.
Cet outil est particulièrement adapté aux professionnels tels que les développeurs, les chercheurs et les étudiants qui ont besoin d'accéder fréquemment à un grand nombre de documents. Sa prise en charge multilingue intégrée facilite la recherche de documents dans plusieurs langues. En outre, ChaiGenie offre une interface conviviale qui rend l'utilisation intuitive et simple.
Points forts du projet :
- Prise en charge multilingue
- technique de recherche vectorielle
- Intégration de Gemini et Qdrant basée sur LangChain
Pour plus de détails, visitez GitHub : https://github.com/LangChainAI/ChaiGenie
---
un appareil appeléAgent de rechercheL'application web de LangGraph permet d'accéder en un clic aux résultats de la recherche grâce à l'assistant de recherche de LangGraph. L'application associe une interface utilisateur intuitive à une puissante technologie d'intelligence artificielle afin d'offrir aux chercheurs un flux de travail efficace et fluide.
L'atout principal de Research Agent est sa capacité à traiter et à analyser automatiquement de grandes quantités de documents afin d'aider les chercheurs à trouver rapidement les informations dont ils ont besoin. En outre, il prend en charge une variété de méthodes de recherche, y compris les recherches par mots clés, sémantiques et graphiques, permettant aux utilisateurs d'obtenir des résultats de recherche complets et précis dans un court laps de temps.
Lien GitHub :https://t.co/XPpHckIH9S
Cet outil est aujourd'hui largement utilisé dans un certain nombre de domaines, tels que la médecine, l'informatique et les sciences sociales, et a considérablement amélioré l'efficacité et la qualité de la recherche.
---
Récemment, une étude sur l'apprentissage par renforcement pour le raisonnement dans les grands modèles de langage a attiré beaucoup d'attention. Cette étude a permis d'améliorer considérablement les performances de l'ensemble de données MATH500, qui sont passées de 36,01 TP3T à 73,61 TP3T en effectuant un apprentissage par renforcement et un raisonnement variationnel (RLVR) sur un seul exemple.
Les chercheurs ont noté que même en utilisant uniquement la perte d'entropie sans introduire de récompense pour les résultats, la performance a été améliorée de 27,41 TP3T, un résultat qui remet en question la popularité actuelle du phénomène de "grokking" et fournit de nouvelles idées pour les futures techniques de traitement du langage naturel.
Documents connexes :Apprentissage par renforcement pour le raisonnement dans de grands modèles linguistiques avec un seul exemple de formation.
Ce résultat de recherche valide non seulement l'efficacité des méthodes d'apprentissage par renforcement, mais souligne également la possibilité d'améliorer les performances des modèles avec de petites quantités de données d'apprentissage, ce qui est important pour les scénarios d'application pratique qui nécessitent une utilisation efficace des ressources.
---
Désormais, avec le dernier composant client MCP de @copilotkit, vous pouvez facilement connecter n'importe quelle application à un serveur MCP, tout comme Cursor ou Claude Desktop.
Pour ce faire, il suffit d'exécuter la commande suivante : npx copilotkit@latest init -m MCP
100% Java Open SourceCela signifie que vous êtes libre de consulter et de modifier le code pour répondre à vos besoins spécifiques.
Cette technologie offre non seulement une plus grande flexibilité aux développeurs, mais elle facilite également la création et l'intégration d'applications polyvalentes. Que vous développiez une solution d'entreprise ou un projet personnel, vous pouvez en bénéficier.
MCP (Multi-Channel Protocol) est une technologie utilisée pour une communication efficace entre différents systèmes. Il prend en charge une variété de méthodes de transfert de données, y compris la messagerie en temps réel et le partage de fichiers. Cette puissante capacité de communication peut améliorer considérablement la fonctionnalité et l'expérience utilisateur des applications.
Pour les organisations qui disposent déjà de serveurs MCP, cette nouvelle technologie signifie qu'elles peuvent faire évoluer leurs écosystèmes plus rapidement sans avoir à construire une nouvelle infrastructure à partir de zéro.
---
Trellix a récemment lancé un assistant d'ingénierie appelé **Sidekick**, un outil qui révolutionne les flux de travail des ingénieurs en tirant parti de la suite de produits LangChain, notamment LangChain, LangGraph et LangSmith.Sidekick vise à fournir un développement plus efficace grâce à la technologie de l'intelligence artificielle. Sidekick vise à fournir un développement plus efficace grâce à la technologie de l'intelligence artificielle.
L'outil ne se contente pas d'optimiser le processus d'écriture du code, il aide également dans un certain nombre de domaines tels que le débogage, les tests et la génération de documentation, améliorant ainsi considérablement l'efficacité du développement. En outre, Sidekick intègre le traitement du langage naturel, ce qui permet aux développeurs d'interagir avec le système par le biais d'un dialogue, simplifiant ainsi l'exécution de tâches complexes.
Pour les entreprises, l'introduction de ces assistants de développement intelligents permet de réduire les coûts de main-d'œuvre, d'accélérer la livraison des projets et de garantir une qualité de code constante. Alors que de plus en plus d'entreprises commencent à reconnaître la valeur des outils d'automatisation, les solutions telles que Sidekick deviennent une tendance dans l'industrie.
---
Récemment.GémeauxavecLangChainont publié conjointement un guide actualisé destiné à aider les développeurs à mieux intégrer les technologies de l'information et de la communication (TIC).GémeauxLes capacités multimodales, l'invocation d'outils et la fonctionnalité de sortie structurée de l'applicationLangChainEffectuer des intégrations. Le guide ne couvre pas seulement la prise en charge des derniers modèles, mais fournit également une multitude d'exemples de code concrets.
Avec le développement des technologies de l'intelligence artificielle, le traitement multimodal et les résultats structurés deviennent de plus en plus importants dans le domaine du traitement du langage naturel (NLP). En intégrant lesGémeauxrépondre en chantantLangChainLe nouveau système permet aux développeurs de créer des applications plus puissantes qui couvrent un large éventail de tâches, de la génération de texte à la compréhension d'images.
- **Capacité multimodale** : prend en charge le traitement de données multimodales telles que le texte et les images.
- **Tool call** : Fournir une interface API riche pour simplifier le processus d'intégration des outils.
- **Sortie structurée** : les données générées sont dans un format plus standardisé pour un traitement et une application ultérieurs.
Le guide comprend également des exemples de code détaillés et des scénarios d'application réels afin d'aider les développeurs à démarrer rapidement et à réaliser un développement efficace.
