Como está a evoluir a tecnologia de geração de vídeo com IA?

O desenvolvimento da tecnologia de geração de vídeo da IA é como estar sentado num foguetão. Do ano passado para este ano, as mudanças neste domínio são tão rápidas que as pessoas ficam deslumbradas. Lembro-me de que, no ano passado, quando a OpenAI lançou o Sora, todos ficámos maravilhados com o facto de "a IA conseguir gerar um vídeo tão realista", mas não pensávamos que agora o Baidu MuseSteamer pudesse gerar áudio e vídeo de forma síncrona. Para ser sincero, este ritmo de progresso deixa-me simultaneamente entusiasmado e um pouco preocupado - se esta evolução continuar, não ficarei muito surpreendido se um dia vir a ver filmes gerados por IA ganharem os Óscares.

A lógica subjacente aos avanços tecnológicos

Conseguir que a IA compreenda efetivamente o conteúdo de vídeo não é tão simples como parece. A abordagem tradicional consiste em anotar manualmente as imagens de vídeo, mas os grandes modelos tradicionais estão agora a fazer a "auto-aprendizagem", e a MuseSteamer tem uma forma inteligente de o fazer - corta os dados de vídeo em pequenos segmentos, depois peneira-os, purifica-os e proporcionaliza-os como ouro, para que o modelo possa captar com mais precisão as nuances do contexto chinês. O MuseSteamer utilizou uma abordagem inteligente - cortou os dados de vídeo em pequenos segmentos e, em seguida, peneirou-os como ouro, purificando-os e proporcionando-os de modo a que o modelo pudesse captar com mais precisão as nuances do contexto chinês. Dito desta forma, compreender a diferença entre "um rapaz que salta e remata" e "um rapaz que afunda" não é fácil para a IA.

Este obstáculo da sincronização de áudio e vídeo

Atualmente, a geração de muitos vídeos de IA é a mais embaraçosa, pois "não consegue fazer corresponder a forma da boca", parece particularmente deslocada. O MuseSteamer consegue resolver este problema de uma forma bastante boa, não se limitando a juntar o áudio e o vídeo, mas deixando o modelo compreender o "ritmo do discurso", "o impacto dos efeitos sonoros ambientais" e outras relações contextuais complexas. Em vez de se limitarem a juntar o áudio e o vídeo, permitem que o modelo compreenda as relações contextuais complexas entre o "ritmo do discurso" e o "impacto do som ambiente". Por exemplo, ao gerar uma imagem de uma conversa à chuva, o modelo terá automaticamente em conta o efeito da chuva na clareza do discurso, e este tipo de processamento de pormenores é particularmente importante para aumentar a sensação de realismo.

Há um longo caminho a percorrer.

Embora a tecnologia tenha progredido muito, as pessoas que a experimentaram sabem que a geração de vídeo com IA ainda tem muitas "ranhuras". Por exemplo, os movimentos complexos da câmara estão muitas vezes errados e a velocidade de geração não é muito rápida. Na verdade, estou bastante curioso para saber o que a indústria vai otimizar primeiro - a procura de um tempo de geração mais curto ou a resolução do problema mais difícil da captura de movimentos? Um amigo que trabalha em cinema e televisão disse-me que o que ele mais espera é que a IA seja capaz de compreender uma terminologia de realização mais abstrata, como "dê-me umEstilo Wong Kar-waiEm vez de ter de explicar "que tom quero, que lente quero".

Por falar nisso, há um modelo recente chamadoPikaO produto também é bastante popular, centrando-se na capacidade de gerar efeitos de animação 3D diretamente a partir de texto. Pode ver-se que esta faixa está a tornar-se cada vez mais volumosa, e todos querem encontrar um avanço na necessidade imediata de "expressão criativa". Afinal de contas, na era dos vídeos curtos, as pessoas que conseguem transformar rapidamente ideias em vídeos serão sempre procuradas. Mas, mais uma vez, estas ferramentas de IA já não são poderosas, a decisão final sobre a qualidade do trabalho continua a ser do cérebro da pessoa que utiliza a ferramenta.