Quando falamos de agentes de IA, muitas vezes ignoramos a opção de implantação localizada. Para ser sincero, a minha experiência recente de criar um agente de IA localmente com a Gemma mudou completamente a minha opinião - afinal, é possível brincar com a IA sem depender de serviços na nuvem. Às 23 horas dessa noite, executei um assistente de IA no meu portátil que podia tratar dados sensíveis, e foi uma sensação muito mais realista do que utilizar um serviço baseado na nuvem.

Controlo absoluto da proteção da privacidade
Caso não saiba, no ano passado, uma organização de investigação médica reduziu o risco de uma violação de dados em 87% ao utilizar um agente de IA local para processar os dados dos doentes, graças ao facto de os dados serem processados localmente e não precisarem de ser carregados para a nuvem. Eu próprio sei o que é lidar com dados financeiros - ver os dados a girar no nosso próprio disco rígido é uma sensação de segurança que os serviços baseados na nuvem não nos podem dar.
Experiências surpreendentes disponíveis offline
Lembro-me de uma vez, num avião, o engenheiro ao meu lado estar a depurar código com IA local. Disse que se tratava de um assistente de programação personalizado, desenvolvido pela equipa deles, e que funcionava sem rede. Mais tarde, testei-o e carreguei um modelo com 7B parâmetros utilizando o LM Studio, que funcionou sem problemas num MacBook com um chip M1, e o tempo de resposta foi de facto mais rápido do que alguns serviços baseados na nuvem!
Afinação dos custos a longo prazo
A princípio, também penso que a implantação local de um grande investimento, mas depois de calcular uma conta de uma mudança completa de ponto de vista: para lidar com 1 milhão de chamadas API, por exemplo, o custo de serviços em nuvem para três anos é suficiente para comprar duas estações de trabalho high-end. Para não falar que alguns modelos de código aberto, como o Gemma3, já estão a aproximar-se dos níveis comerciais de desempenho. Agora, a minha equipa vai dar a lógica empresarial central ao processamento local de IA, apenas na necessidade de expandir a chamada para a nuvem, a poupança de custos mensal é suficiente para construir um grupo de três vezes!
É claro que a IA local não é uma panaceia. O desempenho do modelo é limitado pelo hardware e o utilizador tem de se preocupar com as actualizações e a manutenção. Mas se valoriza a soberania dos dados, precisa de um serviço estável 24 horas por dia, 7 dias por semana, ou gosta de se divertir com a tecnologia como eu, os agentes locais de IA são definitivamente uma opção que vale a pena experimentar. Recentemente, vi uma equipa otimizar um modelo com 7B parâmetros para funcionar no Raspberry Pi, pelo que parece que a velocidade de desenvolvimento neste domínio pode ser muito mais rápida do que pensamos.
评论列表 (3条):
加载更多评论 Carregando...