O que faz com que Sora2 seja bom em animação suave?

Ao ver o desempenho espantoso do Sora2 em termos de suavidade da animação, perguntei-me: como é que este tipo conseguiu? Para ser sincero, como utilizador frequente de várias ferramentas de vídeo com IA, as animações geradas pelo Sora2 têm uma "magia" única - o balanço natural dos membros do macaco durante a dança, a trajetória suave da curva do patinador, tudo isto faz com que as pessoas queiram perguntar O que é que o torna tão mais suave do que os outros modelos?

Motor de física com modelação precisa das trajectórias de movimento

Um estudo cuidadoso da documentação técnica do Sora2 revela que foi feito um grande esforço na modelação das trajectórias de movimento. Por exemplo, ao gerar um vídeo de um patinador no gelo, não só tem em conta os padrões de movimento do corpo humano, como também calcula com precisão o efeito da fricção do gelo no movimento. Isto faz-me lembrar o problema do "deslizamento" que encontrei muitas vezes noutras ferramentas - os pés da personagem não coincidem com o chão quando se move - mas o Sora2 parece ter resolvido este problema na perfeição. De acordo com alguns dados, a precisão da sua previsão de trajetória aumentou quase 40% em comparação com o seu antecessor, o que pode ser a chave para a sua suavidade.

Avanços na coerência entre fotogramas

O que mais me surpreendeu foi a forma como Sora2 lida bem com movimentos rápidos. Lembro-me de testar uma cena de basquetebol em que o jogador salta e atira ao cesto, e a transição entre dobrar o joelho e sair de cada fotograma intermédio é particularmente natural. Mais tarde, fiquei a saber que isso se devia ao seu mecanismo de atenção temporal melhorado - em suma, refere-se ao conteúdo de vários fotogramas antes e depois de cada fotograma, em vez de "fotograma a fotograma", como fazem alguns modelos. Esta perspetiva global torna a ação coerente, como se um animador real estivesse a desenhar quadros-chave.

Mas, para ser sincero, o Sora2 não é perfeito. Nos meus testes, verifiquei que, quando a cena é particularmente complexa (por exemplo, há vários objectos a moverem-se ao mesmo tempo), continua a haver uma ligeira incoerência ocasional. Mas, em comparação com outras ferramentas, este problema tem sido muito menor. Um amigo da indústria revelou que isto pode dever-se à maior percentagem de material de animação de alta qualidade nos dados de treino - diz-se que o seu conjunto de treino contém um grande número de trabalhos de estúdios de animação profissionais.

Em última análise, a força de Sora2 na animação suave é essencialmente uma compreensão profunda das leis da física e da estética do movimento. Não se trata apenas de ligar imagens, trata-se de "compreender" a natureza do movimento. Isto faz-me esperar ansiosamente pelo seu desenvolvimento futuro - talvez um dia possamos utilizá-lo para criar animações comparáveis às dos estúdios profissionais!