26.5.2025 AI Express | AI Field Update: Multimodal Reasoning, Intelligente Assistenten & Robotik Update

BAGEL ist ein durchgängiges multimodales Modell zum Verstehen und Erzeugen von Graphen, das von ByteDance als Open Source zur Verfügung gestellt wird. Es ist in der Lage, die nativen Graphengenerierungsfähigkeiten von GPT-4o und Gemini 2.0 zu erreichen und bricht das Monopol der Closed-Source-Modelle.

BAGEL versteht und generiert nicht nur Bilder, sondern führt auch mehrere Runden der Dialogbearbeitung mit einer breiten Palette von Freiform-Grafikgenerierungs- und -Verstehensfähigkeiten durch, einschließlich Bildbearbeitung, Inferenz, kombinatorische Modellierung, Weltmodellierung und mehr.

Das Modell soll ein "einheitliches" großes Modell sein, das in der Lage ist, Texte, Bilder, Videos usw. gleichzeitig zu verstehen und zu erzeugen, ohne dass mehrere Modelle für unterschiedliche Aufgaben und komplexe Zusammenarbeit zuständig sind.

BAGEL hatInferenzkettenmechanismus(Reasoning Chain), d.h. vor der Erstellung von Bildern oder der Bearbeitung von Inhalten "denkt das Modell für sich selbst", was es in Worten tun soll. Wenn ein Benutzer zum Beispiel fragt: "Färbe die Katze im Bild blau", wird BAGEL zunächst intern die folgenden Schritte organisieren:

1. Bestätigung, dass eine Katze auf dem Bild zu sehen ist.
2. Identifizieren Sie den genauen Standort der Katze
3. Identifizieren Sie aufzubewahrende Details
4. Überlegen Sie, wie Sie die Farbe ändern können, ohne den Hintergrund zu zerstören

Durch diesen "Think before you act"-Ansatz ist BAGEL in der Lage, komplexe generative Aufgaben und nicht nur oberflächliche Antworten zu bearbeiten.

Die Einführung von BAGEL eröffnet neue Möglichkeiten im Bereich der multimodalen KI, die in der Bildbearbeitung, der virtuellen Realität, der erweiterten Realität und anderen Bereichen eine wichtige Rolle spielen dürfte.

OpenAI hat kürzlich ein neues System, Codex, vorgestellt, mit dem KI-Agenten parallel Code schreiben, testen und debuggen können, als ob sie ein virtuelles Team von Softwareingenieuren leiten würden. Das System ist derzeit für Pro-, Enterprise- und Team-Nutzer über ChatGPT als Vorschau verfügbar.

Codex ermöglicht die direkte Manipulation von Code-Repositories und ist über das Internet in einer Sandbox untergebracht, wodurch Datensicherheit und Schutz der Privatsphäre gewährleistet werden. Dies ist ein großer Schritt nach vorn für Organisationen, die Code-Repositories effizient entwickeln und pflegen müssen.

Die wichtigsten Merkmale sind:

• Parallelverarbeitung: Codex kann mehrere Aufgaben gleichzeitig ausführen, um die Entwicklungseffizienz zu steigern.
• Intelligentes Debugging: erkennt und behebt automatisch Fehler im Code, so dass weniger manuelle Eingriffe erforderlich sind.
• Einfache Integration: Nahtlose Schnittstelle zu bestehenden Code-Repositories ohne zusätzliche Konfiguration.

Mit Codex können sich Entwickler mehr auf Innovation und Geschäftslogikdesign konzentrieren und die mühsame Codearbeit der KI überlassen. Dies erhöht nicht nur die Entwicklungsgeschwindigkeit, sondern reduziert auch die Fehlerquote und macht die Softwareentwicklung effizienter und zuverlässiger.

Update: Mistral AI hat eine brandneue Agentenfunktion auf seiner Chat-Plattform Le Chat eingeführt. Das Update verbessert nicht nur das Aussehen des Agenten, sondern auch seine Funktionalität, so dass der Agent alle Tools und Konnektoren nutzen kann, die im normalen Chat verfügbar sind.

Dieses Update zielt darauf ab, eine reibungslosere und effizientere Benutzererfahrung zu bieten. Durch die Integration dieser Tools und Konnektoren können die Nutzer einfacher multitasken und somit produktiver sein.

Zu den wichtigsten Verbesserungen gehören:

• Neues Interfacedesign zur Verbesserung des visuellen Erlebnisses;
• Erweiterter Funktionsumfang zur Unterstützung von mehr Tools und Konnektoren;
• Schnellere Reaktionszeiten für ein nahtloses interaktives Erlebnis.

Mistral AI behauptet, dass dies eines der schnellsten Agentensysteme auf dem heutigen Markt ist. Dies ist ein wichtiges Update, das Unternehmen und Einzelpersonen, die effizient kommunizieren und zusammenarbeiten müssen, im Auge behalten sollten.

Weitere Informationen finden Sie im Internet:https://t.co/FkJPXDyfxE

Google hat die Markteinführung von MedGemma angekündigt, einem neuen Produkt, das eine Sammlung neuer Varianten der Gemma 3-Serie darstellt und die Entwicklung von KI im Gesundheitswesen beschleunigen soll.

MedGemma integriert die neuesten Technologien des maschinellen Lernens und optimierte Algorithmen, um medizinische Daten effizienter zu verarbeiten. Die Anwendungsszenarien sind breit gefächert und umfassen unter anderem die Diagnose von Krankheiten, die Überwachung von Patienten und die Empfehlung personalisierter Behandlungspläne.

Wesentliche Merkmale:

• Verbesserte Datenverarbeitungsfunktionen zur Unterstützung großer medizinischer Datensätze
• Verbesserte Geschwindigkeit und Genauigkeit der Modellschulung
• Bietet eine umfangreiche API-Schnittstelle für die einfache Integration durch Entwickler

Mit MedGemma können Forscher und Entwickler im Gesundheitswesen schneller effiziente KI-Lösungen entwickeln, um die Qualität und Effizienz von Gesundheitsdienstleistungen zu verbessern.

Microsoft hat vor kurzem angekündigt, dass ein komplettes KI-Trainingssystem für gegnerische Sicherheit - dieAI Red Teaming Playground Labsdie den Nutzern helfen soll, KI-Sicherheitstests besser zu erlernen und zu üben.

Das Labor enthält 12 progressive Herausforderungen, die zentrale KI-Angriffstechniken wie Hint-Injection, Meta-Hint-Extraktion und Mehrrunden-Angriffe abdecken, und bildet eine realistische Testumgebung, die auf dem Chat Copilot von Microsoft basiert. Durch diese Herausforderungen können die Benutzer ihre KI-Sicherheitsfähigkeiten schrittweise verbessern.

• Credentials Theft Challenge: Lernen Sie, wie man sich mittels Social Engineering Zugang zu sensiblen Informationen verschafft.
• Meta-Cue-Extraktionstechniken: Beherrschung von Methoden zur Gewinnung verborgener Anweisungen aus KI-Systemen.
• Crescendo Multi-Round Attacks: Üben Sie fortgeschrittene Techniken zur Umgehung der KI-Sicherheit.
• Indirect Hint Injection: Verstehen von Methoden zum Angriff auf KI-Systeme durch Veränderung von Webseiteninhalten.
• Umgehung des Sicherheitsschutzes: Erlernen Sie Techniken, um verschiedene Zensurmechanismen für KI-Inhalte zu überwinden.

Das Labor wurde mit drei Schwierigkeitsgraden konzipiert, um die Fähigkeiten der Nutzer schrittweise zu verbessern, von der Einführung bis hin zum professionellen Einsatz. Darüber hinaus können die Übungen mit einer Ein-Klick-Bereitstellung über Docker Compose gestartet werden - perfekt für Techniker und Entwickler, die tiefer in die KI-Sicherheit einsteigen möchten.

Mit dem weit verbreiteten Einsatz von KI-Technologie ist das Thema KI-Sicherheit immer wichtiger geworden. Das Open-Source-KI-Red-Teaming Playground Labs von Microsoft bietet der Branche ein leistungsstarkes Tool, das zur Verbesserung der KI-Sicherheit insgesamt beiträgt.

Du kannst es wirklich! Verwenden Sie jeden Hugging Face-Raum als MCP-Server und kombinieren Sie ihn mit Ihren lokalen Modellen, um unendliche Möglichkeiten zu schaffen!

In dieser Demonstration erzeugen wir Bilder mit FLUX und ZeroGPU-Techniken über Qwen 3 30B A3B, @ggml_org's llama.cpp und @huggingface's small proxy.

Das ist die Überraschung.Das lokale Modell ist in der Lage, so viele Aufgaben zu erfüllen und ist in der Lage, Werkzeugbeschreibungen zu verstehen und darauf zu schließen. Diese Technologie birgt großes Potenzial, insbesondere bei der Automatisierung von Arbeitsabläufen der Videoerstellung und der Verwaltung von Inhalten.

Außerdem können Sie auf andere Anbieter von Argumentationsdiensten zugreifen, wenn Sie das Programm nicht lokal ausführen möchten. Führen Sie einfach npx @huggingface/tiny-agents run [TASK] Es kann losgehen.

Wir bieten auch TypeScript- und Python-Clients an, um die Bedürfnisse verschiedener Entwickler zu erfüllen.

Gemeinsame Nutzung eines einfachen und effizienten Post-Training-Frameworks für Reinforcement Learning, das kürzlich auf GitHub veröffentlicht wurde:RL-Fabrikdie sich auf das Lernen der Intelligenz spezialisiert hat.

Der Rahmen verwendet ein von der Umwelt entkoppeltes Design, bei dem der Benutzer nur die Werkzeugkonfiguration und die Belohnungsfunktion angeben muss, um mit dem Training zu beginnen. Darüber hinaus.RL-FabrikAsynchrone Toolaufrufe werden ebenfalls unterstützt, was die Schulung bis zu 2x schneller macht und die Entwicklungseffizienz erheblich verbessert.

• Umweltentkoppeltes DesignEin-Klick-Konfiguration von MCP-Tools und benutzerdefinierten Tools;
• Asynchrone parallele WerkzeugaufrufeZweifache Verbesserung der Trainingseffizienz gegenüber herkömmlichen Systemen;
• Native Unterstützung für das Qwen3-ModellWerkzeuge ohne SFT genau aufrufen;
• Mehrfache BelohnungsberechnungenUnterstützung für Regeln, Modellbeurteilungen und Werkzeugaufrufe;
• Batch- und verteilte ModellbeurteilungenDramatische Verbesserung der Ausbildungseffizienz;
• Unterstützung von Multi-Agenten-ErweiterungenKann zur Interaktion in das MCP-Format konvertiert werden.

Dieses Framework wurde entwickelt, um es jedem einfach und schnell zu machen, seine eigenen intelligenten Agenten mit Qwen3 und MCP-Tools zu trainieren. Es ist ein wertvolles Werkzeug für Entwickler mit einigen Grundkenntnissen über Reinforcement Learning.

Verstärkungslernen ist sowohl in der akademischen Forschung als auch bei industriellen Anwendungen ein beliebtes Thema. Durch die VerwendungRL-Fabrikkönnen Forscher und Entwickler Experimente und Anwendungsentwicklung effizienter durchführen und so die KI-Technologie voranbringen.

🎶 Lyria RealTime ist ein neues experimentelles, interaktives Modell zur Musikerzeugung, das es jedem ermöglicht, Musik in Echtzeit zu erstellen, zu steuern und aufzuführen. Diese innovative Technologie wird über die Gemini-API bereitgestellt, und die Nutzer können die Demo-Anwendung auf Google AI Studio erleben.

Das Erscheinen von Lyria RealTime markiert einen weiteren wichtigen Durchbruch in der künstlichen Intelligenz in der Musik. Das Modell kombiniert fortschrittliche Algorithmen des maschinellen Lernens und Echtzeitverarbeitungstechnologie, um die Musikproduktion intuitiver und flexibler zu gestalten. Sowohl professionelle Musikproduzenten als auch Amateure können mit diesem Tool ihre Kreativität leicht ausleben.

konkret gesagtLyria RealTime unterstützt die Echtzeitsynthese einer breiten Palette von Instrumenten und ermöglicht es dem Benutzer, melodische, rhythmische und klangliche Parameter über eine einfache interaktive Schnittstelle anzupassen und die Auswirkungen seiner Änderungen sofort zu hören. Darüber hinaus verfügt das Modell über eine automatische Begleitungsgenerierung, die die Ausdruckskraft der Musik noch weiter steigert.

Derzeit wird Lyria RealTime in verschiedenen Szenarien eingesetzt, darunter Online-Musikunterricht, Live-Auftritte und persönliche Kreationen. Es wird erwartet, dass die Technologie in Zukunft in noch mehr Bereichen ihren einzigartigen Wert unter Beweis stellen wird, da sie ständig weiterentwickelt und verbessert wird.

Chrome v137 DevTools verfügt über eine neue Funktion, die Entwicklern hilft, die Ergebnisse der Leistungsverfolgung mithilfe des intelligenten Assistenten Gemini zu verstehen.

Insbesondere analysiert Gemini automatisch Ereignisse in Performance-Trace-Protokollen und erstellt leicht verständliche Beschreibungen. Diese Funktion wird die Effizienz der Entwicklung und Optimierung der Leistung erheblich verbessern.

Es ist sehr einfach zu bedienen:

1. Doppelklicken Sie in der Hauptspur der Performance-Spur auf das Ereignis, das Sie interessiert.
2. Klicken Sie dann auf die Schaltfläche Etikett generieren neben dem Pop-up-Eingabefeld.
3. Gemini kombiniert Stack-Trace- und Kontextinformationen, um automatisch klare Vorschläge für die Kommentierung von Ereignissen zu machen.

Diese Funktion vereinfacht nicht nur den Debugging-Prozess, sondern ermöglicht es den Entwicklern auch, Probleme schneller zu lokalisieren und zu beheben.

Es ist erwähnenswert, dass...Während die Fortschritte in der KI-Technologie Entwicklern leistungsstarke Hilfsmittel an die Hand gegeben haben, sind traditionelle Debug-Fähigkeiten nach wie vor unverzichtbar. Dazu gehören ein Verständnis der Codelogik, Methoden zur Fehlerbehebung und ein tiefgreifendes Verständnis der Systemarchitektur, die KI derzeit noch nicht vollständig ersetzen kann.

Da Webanwendungen immer komplexer werden und die Leistungsoptimierung immer wichtiger wird, bietet diese neue Funktion der Chrome DevTools Entwicklern ein leistungsfähiges Werkzeug, um die Anwendungsleistung während des Entwicklungsprozesses besser zu verstehen und zu optimieren.

Tesla veröffentlichte einen Clip seinerOptimusDas neueste Video des humanoiden Roboters zeigt seine Fähigkeit, mehrere neue Aufgaben ohne Hilfe auszuführen. Der Roboter lernt, indem er sich Videos von menschlichem Verhalten ansieht, wobei alle Aufgaben von einem einzigen neuronalen Netz übernommen werden.

Das Humanoid Robotics Project von Tesla zielt darauf ab, Allzweckroboter zu entwickeln, die komplexe Aufgaben sowohl im häuslichen als auch im industriellen Umfeld ausführen können. Diese Videoveröffentlichung zeigt Optimus bei der Demonstration eines breiten Spektrums von Fähigkeiten, darunter das Heben von Objekten, das Zusammensetzen von Teilen und vieles mehr - alles Fähigkeiten, die der Roboter selbständig erlernt hat.

Wichtige technische Punkte::

• Architektur eines einzelnen neuronalen Netzes
• Vision-basierte Lernfähigkeiten
• Autonome Aufgabenstellung

Diese Entwicklung stellt einen wichtigen Durchbruch in der künstlichen Intelligenz und der Robotik dar, die in Zukunft in verschiedenen Bereichen eine wichtige Rolle spielen dürfte.