Comment optimiser les questions de recherche en IA ?

La clé de l'optimisation des questions de recherche en IA est de pouvoir donner une direction aussi précise que vous le feriez avec un stagiaire brillant - ce qui me rappelle mon expérience de la semaine dernière en utilisant Gemini pour analyser les tendances des crypto-monnaies au deuxième trimestre 2024. J'ai tapé "Analyser le marché des crypto-monnaies" et j'ai obtenu un aperçu général, mais lorsque je l'ai ajusté à "Comparer la performance des données SOL et ETH dans les trois dimensions du volume des échanges, des positions institutionnelles et de l'activité sur la chaîne en mars-mai 2024, en mettant l'accent sur l'impact de la politique américaine en matière d'ETF. "Il a été récompensé par un rapport approfondi de 38 pages avec des citations de données de Bloomberg. C'est comme si l'on passait de la pêche au filet à la pêche dirigée en haute mer, avec une efficacité au moins cinq fois supérieure.

Remplacer l'objectif large par un microscope

L'erreur la plus courante consiste à poser une question trop générale. Par exemple, lors de l'analyse du marché des puces d'IA, une question telle que "Quels sont les points forts actuels de NVIDIA ?" mettra l'IA dans une position difficile à choisir - doit-elle parler de l'écosystème CUDA, ou de la performance de la puissance arithmétique de la H100 ? Ou de la dernière architecture Blackwell ? Et lorsque vous demandez explicitement "Comparez l'efficacité énergétique du NVIDIA H100 par rapport au AMD MI300X dans les tâches d'inférence LLM à l'aide des données de référence MLPerf", le modèle extrait instantanément les livres blancs et les références techniques les plus pertinents. Un groupe de recherche du MIT a même constaté que les questions qui limitaient la portée de la recherche augmentaient le nombre de documents faisant autorité cités par l'IA de 2 401 TP3T.

Mais le contrôle du champ d'application requiert également des compétences. Lorsque j'ai effectué des recherches sur la controverse relative au droit d'auteur de l'IA générative, j'ai limité la question aux "détails de la collecte de données impliqués dans l'affaire 2023 Getty Images c. Stability AI", ce qui a eu pour effet d'ignorer systématiquement l'ensemble du contexte de l'industrie. Plus tard, le rapport a été modifié pour "analyser la position représentative de cette affaire dans le débat sur la légalité des données d'entraînement de l'IA générative et la comparer aux dispositions pertinentes de la loi européenne sur l'IA", et le rapport a alors eu une véritable valeur de référence politique. La leçon tirée est que la limitation du champ d'application ne consiste pas à tracer une ligne dans le sable, mais à établir un système de coordination.

Mettre un navigateur sur l'IA

Un rapport récent du Stanford HAI Institute montre que les questions qui incluent un cadre analytique clair peuvent améliorer la précision des résultats de 57%. Par exemple, pour étudier les performances de sécurité de la conduite autonome, au lieu de demander "Waymo est-il sûr ?", nous devrions construire une matrice qui "compare les dossiers de sécurité de Waymo Gen 5 et Cruise Origin pour l'année 2023 selon trois dimensions : les données des crash-tests, les taux de désengagement et les performances en cas de conditions météorologiques extrêmes". Au lieu de demander "Waymo est-il sûr ?", nous devrions construire une matrice : "Comparez les dossiers de sécurité de Waymo Gen 5 et de Cruise Origin en 2023 sur trois dimensions : les données des crash-tests, le taux de désengagement et les performances météorologiques extrêmes, et demandez des vérifications croisées qui incluent les données originales de la NHTSA". Ce type de questionnement structuré revient à mettre un GPS sur l'IA, et j'ai personnellement testé que cela fait une différence qualitative dans le professionnalisme du rapport.

Il est intéressant de noter que cette technique fonctionne particulièrement bien dans le domaine de l'analyse commerciale. Le mois dernier, j'ai aidé un ami à étudier la piste SaaS, en utilisant le cadre "Comparer la stratégie de pénétration de Zoom et Teams sur le marché des entreprises en 2023, en se concentrant sur l'analyse de : 1) le processus de décision d'achat des grandes organisations 2) la construction de l'écosystème ISV et 3) le degré d'ouverture de l'API", et j'ai finalement généré une analyse concurrentielle que même le directeur technique de son entreprise a pris pour une société de conseil. Cela me rappelle qu'une bonne question de recherche est une question à laquelle un consultant peut répondre. Cela me rappelle qu'une bonne question de recherche devrait elle-même être un modèle analytique.

Un peu de magie dans la gestion des attentes

Avez-vous déjà été confronté à la maladresse d'une IA qui vous donne un document de 20 pages et ne veut qu'une présentation ? J'ai constaté que le fait de spécifier les exigences de sortie directement dans la question revient à choisir la taille d'une tasse pour une machine à café. Des instructions telles que "résumer en points" ou "générer un plan PowerPoint de 5 pages pour une présentation au conseil d'administration", combinées au contrôle de la longueur du rapport de Gemini, peuvent faire gagner beaucoup de temps en post-édition. Mieux encore, si un formatage spécifique est nécessaire, comme "Organiser les résultats dans un tableau SWOT" ou "Étiqueter tous les numéros DOI cités", l'IA est désormais parfaite pour cela - c'est beaucoup plus efficace que de les organiser manuellement par la suite. -C'est beaucoup plus efficace que de les organiser manuellement par la suite.

Enfin, une constatation contre-intuitive : il est parfois préférable de donner un "visage humain" à une question. Par exemple, lorsque j'effectuais des recherches sur l'éthique des interfaces cerveau-ordinateur, j'ai essayé deux types de questions : la stéréotypée "Énumérez les risques éthiques des neurotechnologies" et la curieuse "Si Neuralink est approuvé pour un usage civil l'année prochaine, quels sont les trois types de controverses sociales qui, selon vous, sont les plus susceptibles d'être déclenchées ? Veuillez les analyser du point de vue d'un expert en éthique des sciences et des technologies". Ce dernier a même cité des discussions plus pointues dans le monde universitaire, et a même inclus quelques documents pré-imprimés. Il semble que même l'IA aime interagir avec des questions chaleureuses.