5/8/2025 AI Express | Neue Fortschritte in KI und Robotik: vom physikalischen Turing-Test bis zum multimodalen Retrieval

Nach einem Hackathon am Wochenende ist Ihr Zuhause ein einziges Durcheinander. Wenn Sie jedoch am Montagabend nach Hause kommen, finden Sie ein makelloses Wohnzimmer und ein Abendessen bei Kerzenschein auf dem Esstisch vor.Es ist unmöglich zu sagen, ob es sich um einen Menschen oder eine Maschine handelt.. Das mag einfach erscheinen, ist aber äußerst schwierig.

Es ist eine Geschichte überPhysikalischer Turing-TestVision wird sie als das nächste große Ding in der KI angesehen. Dieser Traum hat Forscher dazu inspiriert, in ihren Labors die Nächte durchzuarbeiten und an neuen Computerplattformen zu arbeiten, die die Verarbeitung von Materie automatisieren können, anstatt sie auf Informationen zu beschränken.

Sergey GesellschaftKürzlich fand eine Veranstaltung mit dem Titel AI Ascent statt, auf der ich darüber sprach, wie man grundlegende Prinzipien in der Allzweckrobotik durch Datenstrategien und das Gesetz der Skalierung angehen kann. Dieser Vortrag wird Ihnen helfen, tiefer in das Gebiet einzutauchen, und ich bin sicher, dass sich die 17 Minuten für Sie lohnen werden.

Die Roboter der Zukunft werden nicht nur in der Lage sein, komplexe Aufgaben in der häuslichen Umgebung zu erfüllen, sondern auch eine wichtige Rolle in einer Vielzahl von Bereichen, einschließlich Industrie und Medizin, spielen können. Um diese Vision zu verwirklichen, ist eine interdisziplinäre Zusammenarbeit erforderlich, die Spitzentechnologien in Bereichen wie Computer Vision, Verarbeitung natürlicher Sprache und Maschinenbau umfasst.

Erinnern Sie sich an Reinforcement Fine-Tuning (RFT)? Wir haben seit letztem Dezember hart an dieser Technologie gearbeitet und heute offiziell die OpenAI o4-mini-Version vorgestellt.RFT verwendet Chained-Thinking Reasoning und aufgabenspezifische Bewertungsmechanismen zur Verbesserung der Modellleistunginsbesondere für komplexe Bereiche. So nutzte @AccordanceAI RFT zur Feinabstimmung ihrer Steuer- und Rechnungslegungsmodelle auf das aktuelle Optimum (SOTA).

Außerdem können Sie das GPT-4.1 nano jetzt unter Aufsicht feineinstellen. Indem Sie für bestimmte Anwendungsfälle trainieren, können Sie noch mehr Nutzen aus unserem schnellsten und kostengünstigsten Modell ziehen.

Heute stellen wir Enhanced Fine-Tuning vor, einen neuen Ansatz zur Modellanpassung, der es Unternehmen ermöglicht, Expertenmodelle für bestimmte komplexe Aufgaben wie Codierung, wissenschaftliche Forschung oder Finanzen zu erstellen.

Ich freue mich, Ihnen mitteilen zu können, dass der AI Fund eine überzeichnete Finanzierungsrunde erfolgreich abgeschlossen hat und damit 190 Millionen Dollar für unseren neuen Fonds aufbringen konnte. Wir freuen uns auf die Zusammenarbeit mit weiteren Unternehmern, um neue Unternehmen zum Nutzen der Menschheit zu gründen.

Der AI Fund unterscheidet sich von herkömmlichen Risikokapitalfirmen dadurch, dass wir nicht nur finanzielle Unterstützung leisten, sondern auch direkt an der Gründung und dem Betrieb von Unternehmen beteiligt sind. Unser Team ist aktiv an der Erstellung von Codes, der Sammlung von Kundenfeedback, der Iteration des Produktdesigns, der Marktanalyse usw. beteiligt und setzt sich für die rasche Entwicklung mehrerer KI-Produkte ein. Wir arbeiten weiterhin an der Entwicklung von Best Practices für aufstrebende KI-Startups durch die Praxis.

Unter den vielen Faktoren, die zum Erfolg eines Start-ups beitragen, ist die Geschwindigkeit entscheidend. Hier sind einige wichtige Strategien zur Beschleunigung des Wachstums von KI-Startups:

1. sich auf eine einzige spezifische Idee konzentrierenEin kleines Team, das sich auf eine bestimmte Idee konzentriert, kann ein Projekt schnell vorantreiben. Sie sollten in der Lage sein, schnell umzusteuern, wenn sich anfängliche Annahmen als problematisch erweisen, anstatt mehrere Versuche auf einmal zu unternehmen.

2. der Intuition von Fachleuten auf dem Gebiet zu vertrauenDaten und Nutzerforschung sind zwar wichtig, aber in manchen Fällen kann die Intuition eines Fachmanns helfen, schnelle Entscheidungen zu treffen, die schnell umgesetzt und validiert werden können.

3. die Verwendung von KI-gestützter KodierungKI-gestützte Kodierung beschleunigt das Prototyping dramatisch, insbesondere bei eigenständigen Prototyping-Projekten, die keine hohe Zuverlässigkeit und Sicherheit erfordern. Dies ermöglicht es uns, Prototypen und Tests in extrem schnellem Tempo durchzuführen.

4. beschleunigter Zugang zu NutzerfeedbackMit zunehmender Geschwindigkeit des Prototyping wird das Einholen von Nutzerfeedback zu einem neuen Engpass. Teams, die in der Lage sind, schnell potenzielle Kunden zu finden und in kurzer Zeit Feedback zu erhalten, sind im Vorteil.

Neben der Schnelligkeit ist ein tiefes technisches Verständnis der Schlüssel zum Erfolg. Die sich schnell entwickelnde KI-Technologie erfordert von den Teams ein tiefes technisches Verständnis, damit sie bessere Entscheidungen treffen und Umwege vermeiden können.

Wir danken all unseren Investoren, Teammitgliedern und Startup-Partnern für ihre Unterstützung, aber wir haben noch viel zu tun.

OpenAI hat kürzlich bekannt gegeben, dass ChatGPT nun die Verbindung von GitHub-Repositories mit tiefgreifenden Forschungsmöglichkeiten unterstützt.Benutzer können Fragen zu bestimmten Codebases stellenDer Agent für Tiefenforschung liest und durchsucht den Quellcode und die Pull Requests (PRs) des Repositorys und erstellt einen detaillierten Bericht mit Zitaten.

Diese neue Funktion eignet sich vor allem für Software-Entwicklungsteams und Open-Source-Projektbetreuer, damit sie komplexen Code besser verstehen und effizienter damit arbeiten können. Auf diese Weise können die Entwickler nicht nur schnell auf codebezogene Informationen zugreifen, sondern auch potenzielle Probleme und Verbesserungspunkte identifizieren. Darüber hinaus hilft diese Funktion auch Forschern, die interne Struktur und die historische Entwicklung von Open-Source-Projekten tiefgreifend zu analysieren.

Um diese Funktion zu nutzen, wählen Sie die Option "Deep Research" in ChatGPT und klicken Sie auf die Schaltfläche "GitHub", um zu beginnen.

NVIDIA hat soeben bekannt gegeben, dass es drei verschiedene Größen von Code-Inferenzmodellen - Versionen mit 32 Milliarden Parametern, 14 Milliarden Parametern und 7 Milliarden Parametern - als Open Source zur Verfügung stellt. Alle diese Modelle stehen unter der Apache 2.0 Lizenz.

Offiziellen Testergebnissen zufolge übertreffen diese Modelle andere vergleichbare Modelle wie O3 mini und O1 (niedrig) in LiveCodeBench-Benchmarks. Darüber hinaus übertreffen diese Modelle auf der Grundlage der OCR-Datensatzunterstützung andere gleichwertige Inferenzmodelle um etwa 30% in der Token-Effizienz.

Die wichtigsten Merkmale sind:

• Mehrere Frameworks werden unterstützt, z. B. llama.cpp, vLLM, Transformers und TGI.
• Geeignet für eine Vielzahl von Anwendungsszenarien wie Codegenerierung, Debugging und Optimierung.
• Geeignet für akademische Forschung und kommerzielle Entwicklung.

Entwickler können mit diesen Modellen sofort beginnen, um das Potenzial für ihre Anwendung in realen Projekten zu erkunden.

Der offene Quellcode bietet nicht nur Forschern leistungsstarke Werkzeuge, sondern eröffnet auch Entwicklern im Allgemeinen neue Möglichkeiten und verspricht, den Bereich der Codegenerierung und -automatisierung voranzutreiben.

SDV ist eine Open-Source-Python-Bibliothek, die große synthetische Daten generieren kann, indem sie mit Algorithmen des maschinellen Lernens Muster aus realen Daten lernt und repliziert. Dies ist nützlich für Szenarien, die große Datenmengen zum Trainieren oder Testen erfordern.

Der Prozess der Erzeugung synthetischer Daten mit SDV ist in drei Schritte unterteilt:

1. ZugSDV: Zeigen Sie SDV auf Ihre echte Datentabelle und es wird die zugrunde liegende Datenverteilung und die Beziehungen erfassen.
2. Erzeugung vonSDV: Führen Sie das trainierte SDV-Modell aus, um die erforderliche Anzahl ähnlicher Datenreihen zu generieren, ohne echte Daten preiszugeben.
3. validieren (eine Theorie)Verwenden Sie den SDV-Qualitätsbericht, um zu überprüfen, wie gut die generierten Daten mit den realen Daten übereinstimmen; passen Sie bei Bedarf die Parameter an, um genauere Ergebnisse zu erzielen.

Zu den wichtigsten Merkmalen von SDV gehören:

• Mehrere Modelloptionen, von Gauß-Konjugation bis CTGAN.
• Unterstützt einzelne, mehrere und sequentielle Tabellen.
• Integrierte Anonymisierung und logische Beschränkungen.
• Alles kann mit nur einem Befehl erledigt werden:sdv.sample().

Darüber hinaus kann SDV Ungleichgewichte zwischen den Kategorien wirksam beseitigen und die Datenqualität verbessern.

SDV ist in verschiedenen Bereichen wie Finanzen, Gesundheitswesen und Marktforschung anwendbar und kann Nutzern helfen, Modelle zu testen und zu trainieren, ohne sensible Informationen preiszugeben.

Wir feiern das einjährige Jubiläum der Veröffentlichung von AlphaFold 3. Im vergangenen Jahr wurde AlphaFold 3 weithin genutzt, um Millionen von molekularen Interaktionen vorherzusagen, was den Prozess der wissenschaftlichen Forschung dramatisch beschleunigt hat.

Wissenschaftler haben diese Vorhersagen genutzt, um Durchbrüche in einer Reihe von Bereichen zu erzielen, z. B. bei der Immunität von Nutzpflanzen und der Resistenz von Bakterien.AlphaFold 3Die Fähigkeit, genaue Vorhersagen zu treffen, gibt Forschern beispiellose Werkzeuge an die Hand, um ein tieferes Verständnis von Proteinstruktur und -funktion zu erlangen.

Isomorphe Laboresetzt AlphaFold 3 in Verbindung mit seiner fortschrittlichen Drug Design Engine ein, um die Art und Weise der Entwicklung neuer Medikamente zu verändern. Mit diesem innovativen Ansatz hoffen sie, neue Behandlungen schneller und effektiver zu entwickeln.

AlphaFold 3 spielt nicht nur eine wichtige Rolle in der akademischen Forschung, sondern zeigt auch ein großes Potenzial in der pharmazeutischen Industrie und verspricht, die Arzneimittelforschung und -entwicklung in den kommenden Jahren zu revolutionieren.

Ein Tutorial von @LangChainAI, das zeigt, wie man ein multimodales Retrieval Augmented Generation (RAG)-System mit Gemma 3 und LangChain zur Verarbeitung von PDF-Dokumenten mit gemischtem Inhalt (Text und Bilder) aufbaut. Das System kombiniert die leistungsstarken natürlichen Sprachverarbeitungsfähigkeiten von Googles Gemma 3-Modell mit der Flexibilität von LangChain, um komplexe Dokumente effizient zu analysieren und zu verstehen.

Die gesamte Implementierung integriert auch Werkzeuge wie Streamlit und Ollama, um eine benutzerfreundliche Schnittstelle und leistungsstarke Berechnungsunterstützung zu bieten. Durch dieses Tutorial können Entwickler lernen, wie man ein RAG-System aufbaut, das sowohl Text als auch Bilder verarbeiten kann und somit eine starke Unterstützung für praktische Anwendungsszenarien wie Dokumentenanalyse und Wissensextraktion bietet.

Für Fachleute, die in den Bereichen Datenwissenschaft, künstliche Intelligenz oder verwandten Bereichen tätig sind, verbessert die Beherrschung dieser Technologie nicht nur die Produktivität, sondern eröffnet auch neue Möglichkeiten zur Lösung komplexerer Geschäftsprobleme.

Meta hat kürzlich ein fortschrittliches Modell namens Meta Locate 3D vorgestellt, das eine hochpräzise Objektlokalisierung in 3D-Umgebungen ermöglicht. Es wird erwartet, dass dieser technologische Durchbruch die Fähigkeit von Robotern, in komplexen Szenen zu navigieren und natürlich mit Menschen zu interagieren, erheblich verbessern wird.

Mit Meta Locate 3D können Roboter ihre Umgebung genauer erfassen, einschließlich der Erkennung und Lokalisierung verschiedener Objekte. Die Technologie hat ein breites Anwendungsspektrum, nicht nur in der Industrieautomatisierung und in der Logistik und Distribution, sondern auch bei Servicerobotern für den Heimgebrauch, die dadurch die Befehle des Benutzers besser verstehen und darauf reagieren können.

• **Download von Modellen und Datensätzen**
• **Lesen von Forschungsarbeiten**
• **Versuchte Online-Präsentation**

Ausführlichere Informationen finden Sie unterhttps://t.co/GgJEPXTH8W.

Lernen Sie, wie Sie dieVoyageAIDie multimodale Einbettung undMongoDBdes multimodalen Indexes für eine effiziente multimodale Suche.

In diesem Lernprogramm werden Sie Folgendes lernen:

1. Wie zu verwendenVoyageAIDie multimodale Einbettungstechnik. Diese Technik ist in der Lage, mehrere Datentypen, wie z. B. Text und Bilder, in eine einheitliche Vektordarstellung für die anschließende Verarbeitung umzuwandeln.
2. Wie man einrichtetMongoDB-Atlasals Vektor-Speicher für die Bildeinbettung. Durch die Speicherung von Bilddaten in MongoDB kann eine effiziente Datenverwaltung und Abfrage erreicht werden.
3. Erstellen Sie einen multimodalen Index, der sowohl Bild- als auch Textdaten unterstützt. Auf diese Weise kann das System verschiedene Arten von Eingaben gleichzeitig verarbeiten und genaue Abfrageergebnisse liefern.
4. Abfrage von Bildern mit Hilfe von Textaufforderungen (Text-to-Image Retrieval). Diese Technik ermöglicht es den Nutzern, anhand von Beschreibungen in natürlicher Sprache nach relevanten Bildern zu suchen, was die Nutzererfahrung erheblich verbessert.

Diese Techniken werden in einer Vielzahl von Anwendungsszenarien eingesetzt, darunter Produktempfehlungen im E-Commerce, Content Management in sozialen Medien und medizinische Bildanalyse. Mit diesem Tutorium erhalten Sie einen Einblick in die praktischen Anwendungen und technischen Details des multimodalen Retrievals.