El desarrollo de la tecnología de generación de vídeo de IA es como sentarse en un cohete, desde el año pasado hasta este año, los cambios en este campo son tan rápidos que la gente está deslumbrada. Recuerdo que el año pasado, cuando OpenAI lanzó Sora, todos nos maravillamos de que "la IA puede generar un vídeo tan realista", no pensábamos que ahora el Baidu MuseSteamer doméstico puede hacer la generación sincrónica de audio y vídeo. Para ser sincero, este ritmo de progreso me entusiasma y me preocupa a la vez: si este desarrollo continúa, no me sorprendería demasiado ver algún día películas generadas por IA ganar los Oscar.

La lógica subyacente a los avances tecnológicos
Conseguir que la IA comprenda realmente el contenido de vídeo no es tan sencillo como parece. El enfoque tradicional consiste en anotar manualmente las secuencias de vídeo, pero ahora los grandes modelos dominantes están todos haciendo lo del "autoaprendizaje", y MuseSteamer tiene una forma inteligente de hacerlo: cortan los datos de vídeo en pequeños segmentos, luego los criban como si fueran oro, los purifican y los dosifican para que el modelo pueda captar con más precisión los matices del contexto chino. MuseSteamer utilizó un enfoque inteligente: trocearon los datos de vídeo en pequeños segmentos y luego los tamizaron como si fueran oro, los purificaron y los dosificaron para que el modelo pudiera captar con mayor precisión los matices del contexto chino. Dicho así, entender la diferencia entre "un chico que salta y tira" y "un chico que hace mates" no es fácil para la IA.
Este obstáculo de la sincronización de audio y vídeo
Lo más embarazoso de la generación de vídeo por IA es que no se ajusta a la forma de la boca y parece especialmente fuera de lugar. En lugar de limitarse a juntar audio y vídeo, dejan que el modelo comprenda las complejas relaciones contextuales entre el "ritmo del habla" y el "impacto del sonido ambiente". Por ejemplo, al generar una toma de una conversación bajo la lluvia, el modelo tendrá en cuenta automáticamente el efecto de la lluvia en la claridad del habla, y este tipo de procesamiento de los detalles es especialmente importante para aumentar la sensación de realismo.
Hay un largo camino por delante.
Aunque la tecnología ha progresado mucho, los que la han probado saben que la generación de vídeo por IA aún tiene muchas "lagunas". Por ejemplo, los movimientos de cámara complejos suelen ser erróneos, y la velocidad de generación no es muy rápida. De hecho, tengo bastante curiosidad por saber qué optimizará primero la industria: ¿la búsqueda de un tiempo de generación más corto, o resolver la captura de movimiento más difícil? Un amigo que trabaja en cine y televisión me dijo que lo que más espera es que la IA sea capaz de entender términos de dirección más abstractos, como "dame unAl estilo de Wong Kar-waiEn lugar de tener que explicar "qué tono quiero, qué objetivo quiero".
Hablando de eso, hay un modelo reciente llamadoPikaTambién está bastante de moda el producto centrado en la capacidad de generar efectos de animación en 3D directamente a partir del texto. Se puede ver que este tema es cada vez más voluminoso, y todo el mundo quiere encontrar un avance en la necesidad inmediata de "expresión creativa". Al fin y al cabo, en la era de los vídeos cortos, siempre habrá demanda de personas capaces de convertir rápidamente ideas en vídeos. Pero, por otra parte, estas herramientas de IA ya no son potentes, la decisión final sobre la calidad del trabajo sigue siendo del cerebro de la persona que utiliza la herramienta.
评论列表 (11条):
加载更多评论 Cargando...