Para ser sincero, ver que a OpenAI conseguiu libertar 30.000 núcleos de CPU apenas com a otimização do processamento do registo do Fluent Bit foi um número que me surpreendeu um pouco. Isto não pode deixar de me fazer pensar: após a introdução de sistemas de IA nas empresas, esse consumo de custos invisíveis pode ser muito maior do que pensamos. Lembro-me de, no ano passado, ter ajudado uma empresa de comércio eletrónico a criar um sistema de atendimento ao cliente com IA, inicialmente centrado apenas nos custos de formação do modelo, os resultados do estudo em linha revelaram que as despesas de raciocínio, operação e manutenção são, na verdade, três vezes superiores aos custos de formação! Este "custo oculto" é demasiado comum nos projectos de IA.

A tecnologia LLMLingua da Microsoft dá uma ideia - reduzir as despesas gerais através da compressão de modelos e otimizar os algoritmos de inferência. Mas penso que não é suficiente; as empresas precisam de uma estratégia mais sistemática. Por exemplo, podemos fazer uma análise profunda do desempenho dos fluxos de trabalho de IA existentes, como o OpenAI? Muitas vezes, os problemas estão escondidos nessas chamadas de sistema insignificantes.
Controlar os custos da IA ao nível da arquitetura
O Bash Agent da NVIDIA é um exemplo interessante que demonstra a viabilidade de uma aplicação de IA ligeira. As empresas nem sempre têm de procurar modelos "grandes e abrangentes", por vezes um pequeno organismo inteligente para um cenário específico é mais económico e prático. Já vi demasiadas empresas lançarem cegamente um modelo de grandes dimensões e descobrirem que 70% de capacidade de computação são desperdiçados na atividade principal que nada tem a ver com o cálculo.
Outro ponto-chave - escolher a estratégia de implementação correta - é que a arquitetura Swarm da LangGraph revela que a atribuição de recursos pode ser optimizada através da colaboração multi-inteligência. Por exemplo, é mais económico dividir uma tarefa complexa em várias sub-tarefas, que podem ser tratadas por diferentes modelos leves, em vez de utilizar um único mega-modelo para "fazer tudo".
No que diz respeito ao custo dos dados, a biblioteca de tradutores é um bom local para procurar ideias de integração. Se as empresas conseguirem estabelecer uma camada de interface de serviço de IA unificada, podem alternar de forma flexível entre vários fornecedores de serviços de IA e evitar ficarem "presas" a um único fornecedor. É importante saber que o preço do raciocínio de IA de diferentes fornecedores de serviços de nuvem pode variar até 40%!
Estratégias práticas para o controlo de custos
Na prática, constatei que muitas organizações ignoram um facto simples: a otimização dos custos dos sistemas de IA deve começar logo na fonte de dados. Tal como o NotebookLM suporta a análise de imagens, um pré-processamento de dados razoável pode muitas vezes reduzir significativamente as despesas gerais de processamento de IA subsequentes. Uma vez que ajudámos um cliente a otimizar o seu processo de reconhecimento de imagem, poupámos dezenas de milhares de dólares por mês em custos de computação em nuvem, apenas ajustando as definições de resolução da imagem.
Além disso, as empresas precisam de estabelecer um sistema claro de contabilização dos custos da IA. Não se riam, já vi demasiadas equipas a juntarem os custos da IA às "despesas tecnológicas" e, como resultado, nem sequer conseguem fazer uma análise custo-benefício básica. Definir indicadores de ROI claros e rever regularmente o rácio entradas-saídas dos projectos de IA - isto parece simples, mas poucas empresas o conseguem fazer.
No final, o controlo dos custos da IA não é um simples "corte no orçamento", mas exige que as empresas pensem em todos os aspectos da seleção da tecnologia, da conceção da arquitetura e da gestão da operação e da manutenção. Afinal, na era da IA, a eficiência é a competitividade, e as capacidades de controlo de custos são susceptíveis de se tornarem um novo fosso empresarial. O que é que acha?
评论列表 (14条):
加载更多评论 Carregando...