Wie können KI-Forschungsfragen optimiert werden?

Der Schlüssel zur Optimierung von KI-Forschungsfragen liegt darin, die Richtung so präzise vorzugeben, wie man es von einem klugen Praktikanten erwarten würde - was mich an meine Erfahrung von letzter Woche erinnert, als ich Gemini benutzte, um Kryptowährungstrends im zweiten Quartal 2024 zu analysieren. Ich tippte "Analyse des Kryptowährungsmarktes" ein und erhielt einen allgemeinen Überblick, aber als ich ihn auf "Vergleich der SOL- und ETH-Performance im März-Mai 2024 über drei Dimensionen: Volumen, institutionelle Positionen und On-Chain-Aktivität, mit einem Schwerpunkt auf den Auswirkungen der US-amerikanischen ETF-Politik. ", und wurde mit einem 38-seitigen ausführlichen Bericht mit Bloomberg-Datenzitaten belohnt. Die Umstellung ist vergleichbar mit dem Wechsel von der Fischerei mit Netzen zur gezielten Hochseefischerei, wobei die Effizienz mindestens um das Fünffache steigt.

Ersetzen Sie das Weitwinkelobjektiv durch ein Mikroskop

Der häufigste Fehler besteht darin, eine zu weit gefasste Frage zu stellen. Bei der Analyse des KI-Chipmarktes bringt beispielsweise eine Frage wie "Was sind derzeit die Stärken von NVIDIA?" die KI in eine schwierige Entscheidungsposition - soll sie über das CUDA-Ökosystem oder die Rechenleistung des H100 sprechen? Oder die neueste Blackwell-Architektur? Und wenn Sie explizit fragen: "Vergleichen Sie die Energieeffizienz des NVIDIA H100 mit der des AMD MI300X bei LLM-Inferenzaufgaben unter Verwendung von MLPerf-Benchmarkdaten", zieht das Modell sofort die relevantesten technischen Whitepapers und Benchmarks heran. Eine bestimmte Forschungsgruppe am MIT fand sogar heraus, dass Fragen, die den Umfang der Forschung einschränkten, die Anzahl der von der KI zitierten maßgeblichen Literatur um 2.401 TP3T erhöhten.

Aber auch die Kontrolle des Umfangs erfordert Geschick. Als ich die Kontroverse um das Urheberrecht für generative KI recherchierte, beschränkte ich die Frage auf "die Einzelheiten der Datenerhebung im Fall 2023 Getty Images gegen Stability AI", was dazu führte, dass der gesamte Branchenkontext systematisch ignoriert wurde. Später wurde der Bericht dahingehend angepasst, dass er "die repräsentative Position dieses Falles in der Diskussion über die Rechtmäßigkeit generativer KI-Trainingsdaten analysiert und mit den einschlägigen Bestimmungen des EU-KI-Gesetzes vergleicht", und dann hatte der Bericht einen echten politischen Referenzwert. Die Lektion, die wir gelernt haben, ist, dass es bei der Begrenzung des Geltungsbereichs nicht darum geht, einen Strich in den Sand zu ziehen, sondern ein Koordinatensystem zu schaffen.

Einen Navigator auf die KI ansetzen

Ein aktueller Bericht des Stanford HAI Institute zeigt, dass Fragen, die einen klaren analytischen Rahmen enthalten, die Genauigkeit der Ergebnisse um 57% verbessern können. Um beispielsweise die Sicherheitsleistung von selbstfahrenden Autos zu untersuchen, sollten wir statt der Frage "Ist Waymo sicher?" eine Matrix erstellen, die "die Sicherheitsbilanz von Waymo Gen 5 und Cruise Origin für das Jahr 2023 anhand von drei Dimensionen vergleicht: Crashtestdaten, Auskupplungsraten und Leistung bei extremen Wetterbedingungen". Anstatt zu fragen: "Ist Waymo sicher?", sollten wir eine Matrix erstellen: "Vergleichen Sie die Sicherheitsbilanz von Waymo Gen 5 und Cruise Origin im Jahr 2023 anhand von drei Dimensionen: Crashtestdaten, Auskupplungsrate und Extremwetterleistung, und fragen Sie nach Quervergleichen, die die Originaldaten der NHTSA einschließen". Diese Art der strukturierten Befragung ist so, als würde man KI mit GPS ausstatten, und ich habe persönlich getestet, dass es einen qualitativen Unterschied in der Professionalität des Berichts ausmacht.

Interessanterweise funktioniert diese Technik besonders gut bei der Unternehmensanalyse. Letzten Monat habe ich einem Freund bei der Untersuchung von SaaS-Tracks geholfen, indem ich den Rahmen "Vergleichen Sie die Durchdringungsstrategie von Zoom und Teams auf dem Unternehmensmarkt im Jahr 2023, mit Schwerpunkt auf der Analyse von: 1) dem Beschaffungsentscheidungsprozess großer Organisationen, 2) dem Aufbau des ISV-Ökosystems und 3) dem Grad der Offenheit der API" verwendet habe, und schließlich eine Wettbewerbsanalyse erstellt habe, die sogar der CTO seines Unternehmens für ein Beratungsunternehmen hielt. Das erinnert mich daran, dass eine gute Forschungsfrage eine ist, die von einem Berater beantwortet werden kann. Das erinnert mich daran, dass eine gute Forschungsfrage selbst ein analytisches Modell sein sollte.

Ein bisschen Magie im Erwartungsmanagement

Ist es Ihnen schon einmal passiert, dass eine KI Ihnen eine 20-seitige Arbeit gegeben hat und Sie nur eine Präsentation haben wollten? Ich habe die Erfahrung gemacht, dass die Angabe der Ausgabeanforderungen direkt in der Frage wie die Wahl einer Tassengröße für eine Kaffeemaschine ist. Anweisungen wie "Zusammenfassung in Aufzählungspunkten" oder "Erstellung einer 5-seitigen PowerPoint-Gliederung für eine Vorstandspräsentation" können in Kombination mit der Berichtlängenkontrolle von Gemini viel Zeit bei der Nachbearbeitung sparen. Noch besser: Wenn eine spezielle Formatierung erforderlich ist, wie z. B. "Ergebnisse in einer SWOT-Tabelle organisieren" oder "Alle zitierten DOI-Nummern beschriften", ist KI jetzt im Grunde perfekt dafür geeignet - es ist viel effizienter, als sie anschließend manuell zu organisieren. -Sie ist viel effizienter als die manuelle Nachbearbeitung.

Zum Schluss noch eine kontraintuitive Erkenntnis: Manchmal ist es besser, einer Frage ein "menschliches Gesicht" zu geben. Als ich zum Beispiel über die Ethik von Gehirn-Computer-Schnittstellen recherchierte, habe ich zwei Arten von Fragen ausprobiert: die stereotype Frage "Nennen Sie die ethischen Risiken der Neurotechnologie" und die neugierige Frage "Wenn Neuralink nächstes Jahr für die zivile Nutzung zugelassen wird, welche drei Arten von gesellschaftlichen Kontroversen werden Ihrer Meinung nach am ehesten ausgelöst? Bitte analysieren Sie dies aus der Sicht eines Experten für Wissenschafts- und Technologieethik". Letztere zitierte sogar noch aktuellere Diskussionen in der akademischen Welt und enthielt sogar einige vorgedruckte Papiere. Es scheint, dass sogar die KI gerne mit warmen Fragen interagiert.