Avaliar o desempenho dos modelos de IA nunca foi fácil. Para ser sincero, sempre que vejo vários modelos a afirmar a sua precisão, pergunto-me: "Será que estes números são realmente fiáveis?" Tal como não podemos testar produtos electrónicos olhando apenas para o resultado final, os modelos de IA têm de ser avaliados tendo em conta todos os aspectos. Por vezes, um modelo de fada que funciona bem no laboratório torna-se insuportável no mundo real. Isto faz-me lembrar que, há algum tempo, um amigo se queixou de que o seu modelo de PNL era tão exato como 95% no conjunto de teste, e o resultado foi que quase irritou o cliente quando foi aplicado na prática - porque os 5% erros ocorreram todos nas palavras-chave. Por isso, sim, não se pode mesmo levar toda esta coisa da avaliação do desempenho da IA pelo seu valor facial.
Os indicadores de avaliação não são uma panaceia
Se pensa que métricas como a precisão e a recordação são uma descrição completa da força de um modelo de IA, pode ser ingénuo. A realidade é que um modelo que é invencível numa competição Kaggle pode nem sequer passar na classificação quando colocado num ambiente de produção. Tomemos como exemplo a nossa precisão comum - num conjunto de dados de 99% de amostras negativas, mesmo que o modelo não faça nada para além de prever negativas, a precisão continua a ser de 99%. Mas com um modelo como este, acha que é útil?
Não esquecer o custo do tempo
Verifico que muitas equipas são particularmente propensas a ignorar o fator tempo quando avaliam modelos. Passam duas semanas a treinar um modelo com uma melhoria de 0,5% na precisão e depois regozijam-se, sem calcular a quantidade de recursos informáticos consumidos por esta melhoria de 0,5%. Na realidade, é frequente termos de fazer um compromisso entre "suficientemente bom" e "resposta atempada". Tal como nos cenários de atendimento ao cliente em linha, os utilizadores preferem um modelo que dê uma resposta de 80 pontos em 1 segundo do que um sistema que dê uma resposta de 95 pontos em 10 segundos.
Por outro lado, é a questão do enviesamento dos dados que me dá mais dores de cabeça na avaliação do desempenho da IA. Por vezes, esforcei-me muito para ajustar os hiperparâmetros, apenas para descobrir que o verdadeiro obstáculo está na qualidade dos dados. Lembro-me de uma vez em que criámos um sistema de reconhecimento de emoções faciais, que funcionava como um leitor de mentes no laboratório, mas que se revelava frequentemente errado quando utilizado em utilizadores asiáticos - porque as amostras brancas representavam 80% dos dados de treino. Nessas alturas, o algoritmo perfeito é inútil.
Os cenários da vida real são a derradeira sala de exame
O teste A/B é o derradeiro teste de um modelo, e eu sei-o bem. Os ambientes de laboratório são como estufas, enquanto os cenários reais dos utilizadores são como um deserto. Por vezes, nem mesmo os criadores sabem como a sua IA será utilizada. Por vezes, nem os programadores conseguem imaginar o tipo de postura que um utilizador irá utilizar a sua IA. Temos um sistema de diálogo que teve um desempenho perfeito nos testes internos, mas quando foi posto em funcionamento, descobrimos que os utilizadores estavam sempre a fazer perguntas em todo o tipo de dialectos e gírias, o que deixava o modelo confuso. Assim, a avaliação do desempenho da IA não é apenas uma questão para os engenheiros, requer a participação das funções de produto e operação. Afinal de contas, o objetivo final da IA é servir as pessoas, não é?
评论列表 (0条):
加载更多评论 Carregando...