Como otimizar as questões de investigação em IA?

A chave para otimizar as questões de investigação de IA é ser capaz de dar orientações com a mesma precisão com que se daria a um estagiário brilhante - o que me faz lembrar a minha experiência da semana passada ao utilizar o Gemini para analisar as tendências das criptomoedas no segundo trimestre de 2024. Digitei "Analisar o mercado de criptomoedas" e obtive uma visão geral, mas quando o ajustei para "Comparar o desempenho dos dados SOL e ETH nas três dimensões do volume de negociação, posições institucionais e atividade na cadeia em março-maio de 2024, com foco no impacto da política de ETF dos EUA. ", e foi recompensado com um relatório aprofundado de 38 páginas com citações de dados da Bloomberg. A mudança é como passar da pesca com redes para a pesca dirigida em alto mar, com uma eficiência pelo menos cinco vezes superior.

Substituir a lente grande angular por um microscópio

O erro mais comum é fazer uma pergunta demasiado abrangente. Por exemplo, ao analisar o mercado de chips de IA, uma pergunta como "Quais são os pontos fortes da NVIDIA atualmente?" colocará a IA numa posição difícil de escolher - deve falar sobre o ecossistema CUDA ou sobre o desempenho da potência aritmética do H100? Ou a mais recente arquitetura Blackwell? E quando se pergunta explicitamente "Comparar a eficiência energética da NVIDIA H100 com a AMD MI300X em tarefas de inferência LLM utilizando dados de referência MLPerf", o modelo obtém instantaneamente os documentos técnicos e as referências mais relevantes. Um determinado grupo de investigação do MIT descobriu mesmo que as perguntas que limitavam o âmbito da investigação aumentavam o número de literatura autorizada citada pela IA em 2.401 TP3T.

Mas o controlo do âmbito também requer competências. Quando pesquisei a controvérsia sobre os direitos de autor da IA generativa, limitei a pergunta aos "pormenores da recolha de dados envolvidos no caso Getty Images v. Stability AI 2023", o que resultou em ignorar sistematicamente todo o contexto da indústria. Mais tarde, o relatório foi ajustado de modo a "analisar a posição representativa deste caso na discussão da legalidade dos dados de treino da IA generativa e compará-la com as disposições relevantes da Lei da IA da UE", passando o relatório a ter um verdadeiro valor de referência política. A lição aprendida é que limitar o âmbito de aplicação não significa traçar uma linha na areia, mas sim estabelecer um sistema de coordenadas.

Colocar um Navegador na IA

Um relatório recente do Stanford HAI Institute mostra que as perguntas que incluem um quadro analítico claro podem melhorar a exatidão dos resultados em 57%. Por exemplo, para estudar o desempenho da segurança da condução autónoma, em vez de perguntar "A Waymo é segura?", devemos construir uma matriz: "Compare os registos de segurança da Waymo Gen 5 e da Cruise Origin em 2023 em três dimensões: dados de testes de colisão, taxas de desativação e desempenho em condições meteorológicas extremas. Em vez de perguntar "A Waymo é segura?", deveríamos construir uma matriz: "Compare os registos de segurança da Waymo Gen 5 e da Cruise Origin em 2023 em três dimensões: dados de testes de colisão, taxa de desativação e desempenho em condições meteorológicas extremas, e peça verificações cruzadas que incluam os dados originais da NHTSA". Este tipo de questionamento estruturado é como colocar GPS na IA, e eu testei pessoalmente que faz uma diferença qualitativa no profissionalismo do relatório.

Curiosamente, esta técnica funciona particularmente bem na análise de negócios. No mês passado, ajudei um amigo a fazer uma pesquisa sobre SaaS, usando o quadro "Comparar a estratégia de penetração do Zoom e do Teams no mercado empresarial em 2023, com foco na análise de: 1) o processo de tomada de decisão de aquisição de grandes organizações 2) a construção do ecossistema ISV e 3) o grau de abertura da API", e acabei por gerar uma análise competitiva que até o CTO da sua empresa pensou que era uma empresa de consultoria. Isto faz-me lembrar: uma boa pergunta de investigação é aquela que pode ser respondida por um consultor. Isto lembra-me: uma boa pergunta de investigação deve ser um modelo analítico.

Um pouco de magia na gestão de expectativas

Já alguma vez teve o embaraço de uma IA lhe dar um trabalho de 20 páginas e só querer uma apresentação? Descobri que especificar os requisitos de saída diretamente na pergunta é como escolher o tamanho de uma chávena para uma máquina de café. Instruções como "resumir em pontos" ou "gerar um esboço em PowerPoint de 5 páginas para apresentação ao conselho de administração", combinadas com o controlo do comprimento do relatório do Gemini, podem poupar muito tempo de pós-edição. Melhor ainda, se for necessária uma formatação específica, como "Organizar os resultados numa tabela SWOT" ou "Rotular todos os números DOI citados", a IA é agora basicamente perfeita para isso - é muito mais eficiente do que organizá-los manualmente depois. A IA é agora basicamente perfeita para isso - é muito mais eficiente do que organizá-los manualmente depois.

Finalmente, uma descoberta contra-intuitiva: por vezes, é melhor dar um "rosto humano" a uma pergunta. Por exemplo, quando estava a investigar a ética das interfaces cérebro-computador, experimentei dois tipos de perguntas: a estereotipada "Enumere os riscos éticos da neurotecnologia" e a curiosa "Se o Neuralink for aprovado para utilização civil no próximo ano, quais são os três tipos de controvérsias sociais que acha mais prováveis de serem desencadeadas? Por favor, analise-a na perspetiva de um especialista em ética científica e tecnológica". O último citava mesmo discussões mais avançadas no meio académico e até incluía alguns artigos pré-impressos. Parece que até a IA gosta de interagir com perguntas calorosas.