Captura de performance en tiempo real de LucasFilm

Por , el 24 septiembre, 2013. 2

Esto es interesante.
Un video de una presentación de LucasFilm mostrando un sistema de captura de performance en tiempo real. Actores actúan con trajes de captura de movimiento, y en la pantalla vemos una escena fotorrealista de Star Wars con C3P0, R2D2 y un stormtrooper. Mira el video y analizemos lo que se ve en el setup.

En términos de hardware, lo básico, un sistema de mocap óptico de alta resolución, para poder capturar a varios actores al mismo tiempo. Se incorpora también una cámara virtual (parecido al Insight VCS de OptiTrack), para “filmar” la escena en tiempo real.

El aparato que el actor tiene en la cabeza es una cámara que captura movimientos faciales. Es básicamente un sistema de mocap igual que el del cuerpo, pero en miniatura, con una cámara infrarroja que en vez de capturar las pelotitas reflectantes de un traje captura los marcadores pegados en la cara del actor.

En el lado del software, están usando MotionBuilder, el mismo software de Autodesk que usaron para “filmar” las escenas de Avatar. En un setup organizado, varias estaciones de trabajo se conectan en red para recibir la misma información. Dentro de MotionBuilder se puede crear una escena 3D y poblarla con personajes, y gracias a la tecnología de retargeting de animación, se pueden aplicar clips de mocap sobre distintos personajes ya estando previamente configurados. Por la potencia de MotionBuilder se puede realizar este mismo proceso en tiempo real, teniendo como input el sistema de mocap. El mismo sistema puede controlar la animación facial.

También se muestra brevemente la opción de usar un actor secundario solo para la animación facial, sin usar un sistema mocap sino un sensor de profundidad como el Kinect de Microsoft. Existe software para captura facial en tiempo real desarrollado para estos sensores, que puede ser Faceshift (video) o un sistema mejorado que he visto pero no puedo encontrar ahora el video.

Creo que lo más impresionante del video es que se puede apreciar una ventana de Unreal Editor, es decir, el rendering es realizado con Unreal Engine, probablemente 4. Esto es importante, ya que es una característica no anunciada de la nueva versión del motor.

Lo único que no conozco son las superficies de control que usan para controlar las luces. Parecen estar corriendo en alguna tableta Android, quizás existen apps de controladores genéricos (se parecen a las que usan los correctores de color profesionales de cine).

En resumen, es muy impresionante tener todos esos sistemas sincronizados y corriendo en tiempo real. Abre muchas posibilidades para la creación de cinemáticas en menos tiempo. ¿Qué les parece el setup?





  • Realmente increíble, había visto algo parecido cuando hicieron FIFA 2012, que muestran como crean los movimientos de los actores para que se plasmen en el juego, sin embargo que sea en tiempo real me parece increíble, cuando mencionaste Unreal Engine recordé una duda, cual es la diferencia entre UDK y Unreal Tournament, creo que sería bueno aclararlo, y hasta de para otro post.

    Saludos y felicidades por el sitio!

    • Unreal Tournament es el juego de Epic Games. El motor que hicieron para ese juego es el Unreal Engine. Han hecho 3, ahora están en el 4. El UDK es la versión de distribución gratuita del kit de desarrollo de Unreal. Sí, es buena idea para aclarar en un futuro post. ¡Gracias!