¿Cómo optimizar las preguntas de investigación sobre IA?

La clave para optimizar las preguntas de investigación de la IA es ser capaz de dar una orientación tan precisa como la que darías a un becario brillante, lo que me recuerda mi experiencia de la semana pasada utilizando Gemini para analizar las tendencias de las criptodivisas en el segundo trimestre de 2024. Escribí "Analizar el mercado de criptomonedas" y obtuve una visión general, pero cuando lo ajusté a "Comparar el rendimiento de los datos de SOL y ETH en las tres dimensiones de volumen de negociación, posiciones institucionales y actividad en la cadena en marzo-mayo de 2024, con un enfoque en el impacto de la política estadounidense de ETF. ", y fue recompensado con un informe en profundidad de 38 páginas con citas de datos de Bloomberg. El cambio es como pasar de la pesca con redes a la pesca dirigida en alta mar, con una eficacia al menos cinco veces mayor.

Sustituye la lente ancha por un microscopio

El error más común es formular una pregunta demasiado amplia. Por ejemplo, al analizar el mercado de chips de IA, una pregunta del tipo "¿Cuáles son ahora los puntos fuertes de NVIDIA?" pondrá a la empresa en una situación difícil para elegir: ¿debe hablar del ecosistema CUDA, o del rendimiento de la potencia aritmética del H100? ¿O de la última arquitectura Blackwell? Y cuando se pregunta explícitamente "Comparar la eficiencia energética de NVIDIA H100 frente a AMD MI300X en tareas de inferencia LLM utilizando datos de referencia MLPerf", el modelo extrae al instante los informes técnicos y las pruebas de rendimiento más relevantes. Cierto grupo de investigación del MIT descubrió incluso que las preguntas que limitaban el alcance de la investigación aumentaban el número de publicaciones autorizadas citadas por la IA en 2.401 TP3T.

Pero el control del alcance también requiere habilidad. Cuando investigué la controversia sobre los derechos de autor de la IA generativa, limité la pregunta a "los detalles de la recopilación de datos implicados en el caso 2023 Getty Images contra Stability AI", lo que resultó en ignorar sistemáticamente todo el contexto de la industria. Más tarde, el informe se ajustó para "analizar la posición representativa de este caso en el debate sobre la legalidad de los datos de entrenamiento de IA generativa y compararla con las disposiciones pertinentes de la Ley de IA de la UE", y entonces el informe tuvo un verdadero valor de referencia política. La lección aprendida es que limitar el ámbito de aplicación no consiste en trazar una línea en la arena, sino en establecer un sistema de coordenadas.

Poner un navegador en la IA

Un informe reciente del Stanford HAI Institute muestra que las preguntas que incluyen un marco analítico claro pueden mejorar la precisión de los resultados en 57%. Por ejemplo, para estudiar el rendimiento de la seguridad de la conducción autónoma, en lugar de preguntar "¿Es Waymo seguro?", deberíamos construir una matriz: "Comparar los registros de seguridad de Waymo Gen 5 y Cruise Origin en 2023 en tres dimensiones: datos de pruebas de choque, tasas de desconexión y rendimiento en condiciones meteorológicas extremas". En lugar de preguntar "¿Es Waymo seguro?", deberíamos construir una matriz: "Comparar los registros de seguridad de Waymo Gen 5 y Cruise Origin en 2023 en tres dimensiones: datos de pruebas de choque, tasa de desconexión y rendimiento en condiciones meteorológicas extremas, y pedir comprobaciones cruzadas que incluyan los datos originales de la NHTSA". Este tipo de interrogatorio estructurado es como ponerle GPS a la IA, y he comprobado personalmente que marca una diferencia cualitativa en la profesionalidad del informe.

Curiosamente, esta técnica funciona especialmente bien en el análisis empresarial. El mes pasado ayudé a un amigo a investigar la vía SaaS, utilizando el marco de "Comparar la estrategia de penetración de Zoom y Teams en el mercado empresarial en 2023, centrándose en el análisis de: 1) el proceso de toma de decisiones de compra de las grandes organizaciones 2) la construcción del ecosistema ISV y 3) el grado de apertura de la API", y al final generó un análisis competitivo que hasta el CTO de su empresa pensó que era una consultora. Esto me recuerda: una buena pregunta de investigación es la que puede responder un consultor. Esto me recuerda: una buena pregunta de investigación debe ser en sí misma un modelo analítico.

Un poco de magia en la gestión de expectativas

¿Te has encontrado alguna vez con la incomodidad de que una IA te entregue un trabajo de 20 páginas y sólo quiera una presentación? He descubierto que especificar los requisitos de salida directamente en la pregunta es como elegir el tamaño de la taza de una cafetera. Instrucciones como "resumir en viñetas" o "generar un esquema de PowerPoint de 5 páginas para una presentación ante la junta directiva", combinadas con el control de la longitud de los informes de Gemini, pueden ahorrar mucho tiempo de postedición. Aún mejor, si se requiere un formato específico, como "organizar los resultados en una tabla DAFO" o "etiquetar todos los números DOI citados", la IA es ahora básicamente perfecta para ello: es mucho más eficiente que organizarlos manualmente después. -que es mucho más eficiente que organizarlos manualmente a posteriori.

Por último, un hallazgo contraintuitivo: a veces es mejor poner "rostro humano" a una pregunta. Por ejemplo, cuando investigaba la ética de las interfaces cerebro-ordenador, probé con dos tipos de preguntas: la estereotipada "Enumere los riesgos éticos de la neurotecnología" y la curiosa "Si Neuralink se aprueba para uso civil el año que viene, ¿cuáles son los tres tipos de controversias sociales que cree que es más probable que se desencadenen? Por favor, analícelo desde la perspectiva de un experto en ética de la ciencia y la tecnología". En esta última se citaban incluso debates más punteros en el mundo académico, y hasta se incluían algunos documentos ya impresos. Parece que incluso a la IA le gusta interactuar con preguntas calientes.