Como os grandes modelos de código aberto estão a mudar o panorama da IA

Não é segredo que os modelos de fonte aberta estão a remodelar a indústria da IA. Mas a recém-lançada série Llama-Nemotron da NVIDIA ainda me chocou - um modelo com 253 mil milhões de parâmetros pode superar um rival com 671 mil milhões de parâmetros, uma revolução na eficiência que derrubou a nossa perceção tradicional de "quanto maiores os parâmetros, melhor". O poder do código aberto está a tornar a tecnologia de IA mais eficiente. O poder do código-fonte aberto está a permitir que a tecnologia de IA seja iterada a um ritmo espantoso. Imagine, até as pequenas e médias empresas podem agora construir as suas próprias aplicações de IA com base nestes modelos de código-fonte aberto, o que seria impensável há três anos.

O efeito borboleta da ecologia de código aberto

O mais interessante dos grandes modelos de código aberto é o "efeito de volante" que criam. Quando um gigante como a NVIDIA torna públicos os detalhes de treino e as optimizações de arquitetura, toda a comunidade de programadores beneficia. Veja-se a inovadora funcionalidade "inference switch", em que os programadores podem agora ajustar dinamicamente a profundidade de pensamento de um modelo a pedido, uma flexibilidade que seria difícil de conseguir num modelo de código fechado. Para não mencionar as optimizações sensíveis ao hardware que fazem com que os grandes modelos funcionem rapidamente em GPUs normais.

A pontuação de 76,01 do LN-Ultra no teste GPQA-Diamond supera até mesmo alguns modelos comerciais de código fechado. O que é que isto significa? A comunidade de código aberto está a desenvolver os seus próprios padrões de qualidade e caminhos de inovação e já não está simplesmente a seguir os passos dos gigantes da tecnologia.

A próxima fronteira na revolução da eficiência

140.000 H100 horas de formação parece intimidante, mas o investimento vale definitivamente a pena, tendo em conta os ganhos de eficiência que este modelo proporciona ao raciocinar. Os grandes modelos de código aberto estão a provar uma coisa: o futuro da IA não tem de se resumir ao empilhamento de parâmetros. Estes métodos de formação inovadores - desde a pesquisa de arquitetura neural à conceção de cursos de aprendizagem por reforço - dizem-nos que ainda há muito espaço para melhorar a eficiência dos modelos.

Imagine o que significa quando um modelo com 253 mil milhões de parâmetros pode ser facilmente implementado num único nó 8xH100. Isto significa que a tecnologia de grandes modelos está a passar do laboratório para o mundo real. Este é provavelmente um dos pontos de viragem mais importantes na história do desenvolvimento da IA - já não estamos apenas a perseguir o jogo dos números no benchmark, mas a concentrar-nos realmente na forma de colocar a tecnologia de IA no terreno e na sua aplicação.

As mudanças provocadas pelos grandes modelos de código aberto estão apenas a começar. À medida que mais empresas como a NVIDIA se juntam ao campo do código aberto, a democratização da tecnologia de IA irá acelerar. Talvez não demore muito até vermos uma onda de inovações de IA da próxima geração liderada pela comunidade de código aberto - muito mais divertido do que um gigante da tecnologia a desenvolver tudo sozinho, não é?

Remodelação dos modelos de negócio

A ascensão dos grandes modelos de código aberto está a forçar toda a indústria a repensar os modelos de rentabilidade. O anterior modelo de negócio de cobrar pelas chamadas API está agora a enfrentar um enorme desafio - porque é que uma organização pagaria uma taxa API elevada quando pode simplesmente descarregar um modelo de desempenho comparável e implementá-lo ela própria? Mas, por outro lado, isto deu origem a algumas novas oportunidades de negócio, como os serviços de afinação de modelos e as soluções de implementação privada.

Noto, em particular, que a Llama-Nemotron adoptou uma licença de código aberto favorável às empresas, o que significa que estas podem desenvolver com confiança produtos comerciais baseados nestes modelos. Esta abertura poderá mudar todo o panorama da indústria da IA - no futuro, poderá haver um ecossistema de modelos de base de código aberto e aplicações comercializadas, muito semelhante à atual relação entre o Linux e a computação em nuvem.

A próxima fronteira na revolução da eficiência

140.000 H100 horas de formação parece intimidante, mas o investimento vale definitivamente a pena, tendo em conta os ganhos de eficiência que este modelo proporciona ao raciocinar. Os grandes modelos de código aberto estão a provar uma coisa: o futuro da IA não tem de se resumir ao empilhamento de parâmetros. Estes métodos de formação inovadores - desde a pesquisa de arquitetura neural à conceção de cursos de aprendizagem por reforço - dizem-nos que ainda há muito espaço para melhorar a eficiência dos modelos.

Imagine o que significa quando um modelo com 253 mil milhões de parâmetros pode ser facilmente implementado num único nó 8xH100. Isto significa que a tecnologia de grandes modelos está a passar do laboratório para o mundo real. Este é provavelmente um dos pontos de viragem mais importantes na história do desenvolvimento da IA - já não estamos apenas a perseguir o jogo dos números no benchmark, mas a concentrar-nos realmente na forma de colocar a tecnologia de IA no terreno e na sua aplicação.

As mudanças provocadas pelos grandes modelos de código aberto estão apenas a começar. À medida que mais empresas como a NVIDIA se juntam ao campo do código aberto, a democratização da tecnologia de IA irá acelerar. Talvez não demore muito até vermos uma onda de inovações de IA da próxima geração liderada pela comunidade de código aberto - muito mais divertido do que um gigante da tecnologia a desenvolver tudo sozinho, não é?