Tendencias21

Una nueva tecnología permite trasladar las expresiones de una cara a otra

Investigadores estadounidenses y alemanes han creado un método para transferir en tiempo real expresiones faciales grabadas en vídeo. La novedad del estudio radica en la posibilidad de trasladar esas expresiones de un rostro a otro de forma tan realista, que resulta indistinguible del vídeo real. Para lograrlo basta con un ordenador, dos cámaras especiales de captura de movimiento del cuerpo en 3D y el software que han creado, que registra cada píxel de ambas caras para después reconstruir la expresión. El sistema podría ser de utilidad en el campo de la realidad virtual y la traducción instantánea. Por Patricia Pérez

Una nueva tecnología permite trasladar las expresiones de una cara a otra

El sector de los gráficos por ordenador está cada vez más desarrollado, con avatares basados en personas reales, o incluso personajes animados de lo más realista creados completamente en un entorno sintético con las más avanzadas gráficas 3D de la industria. Sin embargo, lo que plantea un equipo de informáticos de Estados Unidos y Alemania es utilizar esa tecnología para transferir instantáneamente expresiones faciales de un rostro real a otro.

Matthias Niessner, profesor de la Universidad de Stanford especializado en superficies tridimensionales de gráficos por ordenador, se refiere al proceso como «reconstrucción facial en vivo», en un artículo publicado en The New York Times. Junto a otros compañeros de la universidad californiana y de las alemanas Max Planck Institute for Informatics y Erlangen-Nuremberg, donde estudió, han desarrollado un software que registra cada píxel de ambas caras y después transfiere la expresión.

De esta forma, la sonrisa de una persona aparece sin problema en un vídeo en directo de la cara de otra persona, aunque esta segunda no sonría. Bastará con un ordenador, dos cámaras especiales de captura de movimiento del cuerpo en 3D y el software que han creado, para tomar el control de una cara. Los resultados de la investigación se han publicado en un documento bajo el título “Transferencia de expresión en tiempo real para la reconstrucción facial” y ese el precisamente el objetivo, aunque el resultado impresiona más que la descripción.

La tecnología allana el camino a nuevas aplicaciones en el contexto de la realidad virtual y la teleconferencia. Así, se podría aplicar para mejorar el doblaje de películas -ajustando los movimientos faciales y la boca de los actores al idioma en cuestión-, hacer más realistas los vídeos de realidad virtual, crear avatares fotorrealistas para infinidad de usos o proporcionar una traducción instantánea.

Procedimiento

En los últimos años se han realizado varios estudios enfocados a la transferencia de expresiones faciales capturadas de un sujeto real para animar un personaje virtual. Sin embargo, la reconstrucción facial va un paso más allá, al trasladar las expresiones de origen a otro actor verdadero. Se trata de una tarea mucho más difícil, pues el más mínimo error en las expresiones transferidas o en la apariencia del vídeo sería percibido por el ojo humano.

Para lograr este objetivo, el software tiene que resolver desafiantes problemas algorítmicos bajo las restricciones del tiempo real. El primer paso es capturar con precisión las actuaciones faciales de los sujetos de origen y destino, usando para ello una cámara RGB-D, capaz de capturar imágenes en RGB y asociar a cada uno de los puntos tomados información de profundidad para crear el efecto tridimensional. En concreto, para esta investigación se ha utilizado la Asus Xtion Pro, aunque existen otros modelos conocidos como la Kinect de Microsoft.

Cada fotograma incluye información sobre los colores y la iluminación para reconstruir la escena. Para transferir la expresión, se calcula la diferencia entre las expresiones de origen y destino en el espacio de parámetros, y se modifican los parámetros de destino para que coincidan con las expresiones de origen. El proceso es bastante similar al utilizado por la tecnología de captura de movimiento.

El ordenador procesa la transferencia en unos 30 milisegundos, aunque algunas cámaras pueden requerir un poco más, pero seguirá siendo muy poco tiempo para que un observador humano lo perciba. Los investigadores han puesto a prueba su tecnología haciendo un seguimiento en vivo de varios actores en diferentes contextos, y el resultado es cuanto menos inquietante.

Sin embargo, también tiene algunas limitaciones. Por ejemplo, cuando se realizan movimientos de cabeza muy rápidos, puede dar lugar a fallos de seguimiento. También los entornos oscuros introducen ruido a los sensores RGB, lo que reduce la estabilidad de seguimiento temporal. Otra incidencia se produce a veces al copiar arrugas o diferencias significativas en la piel, lo que puede llevar a resultados inverosímiles. En este caso, el sistema funciona mucho mejor si la edad de los actores es similar.

Una nueva tecnología permite trasladar las expresiones de una cara a otra

Aplicaciones

La teleconferencia y la traducción instantánea son los dos campos donde esta tecnología tiene más que aportar. Precisamente Skype ha presentado ya un avance de su sistema de traducción de voz en tiempo real durante las videollamadas. Niessner asegura que, con un poco más de esfuerzo, se podría combinar esa traducción en tiempo real con la transferencia de expresiones faciales acordes. Así, si una persona de habla Inglesa estuviera hablando con un hablante de mandarín, cada uno parecería estar hablando el idioma del otro.

Los informáticos también creen que su método abre nuevas posibilidades para futuras líneas de investigación. Por ejemplo, en lugar de realizar el seguimiento del actor de origen con una cámara RGB-D, el vídeo de destino podría manipularse en base a la entrada de audio.

A pesar de todo, son conscientes de que la herramienta puede generar cierta preocupación en torno a los peligros de la alteración de la realidad visual. “Cuando aparecieron por primera vez programas como Photoshop, también había incertidumbre, pero ahora toda la industria de la publicidad gira en torno a ellos», subraya Niessner. El público ha sabido adaptarse y, además, existen técnicas para detectar cualquier alteración oculta de una imagen, algo que podría extrapolarse a la transformación en vídeo.

RedacciónT21

Hacer un comentario

RSS Lo último de Tendencias21

  • Los africanos usaban arcos y flechas hace 74 mil años 24 marzo, 2024
    El uso se arcos y flechas se ha constatado en africanos hace 74.000 años: dejaron constancia de armas puntiagudas usadas para la caza y, después de la erupción del supervolcán Toba en Indonesia que provocó una sequía, también para pescar en un río etíope.
    N+1/T21
  • Descubren al delfín de río más grande de la historia 23 marzo, 2024
    Un equipo de científicos ha descubierto en la Amazonía peruana los fósiles del delfín de río más grande de la Tierra. Era un pariente cercano de los delfines asiáticos y no de los delfines amazónicos que hoy habitan las aguas dulces de América del Sur.
    N+1/T21
  • Detectan emisiones de radio similares a auroras sobre las manchas solares 22 marzo, 2024
    Los astrónomos han observado explosiones de radio duraderas similares a auroras sobre una mancha solar: el descubrimiento podría ayudarnos a comprender mejor al Sol, así como facilitar la identificación de estrellas distantes que producen emisiones de radio similares.
    Pablo Javier Piacente
  • Descubren un material que se hace más fuerte con cada golpe 22 marzo, 2024
    Un nuevo material elástico presenta una increíble "durabilidad adaptativa": cada vez que se cae o se golpea, su fuerza se incrementa y se vuelve más difícil de romper. Podría ser de gran utilidad en futuros dispositivos electrónicos como nuevos teléfonos móviles, relojes inteligentes o tabletas, que están continuamente expuestos a todo tipo de golpes. Además, […]
    Pablo Javier Piacente
  • El Arco de Gibraltar está migrando desde el Mediterráneo hacia el Atlántico 22 marzo, 2024
    Una zona de subducción que se origina en el Mediterráneo occidental se está moviendo desde la región franco-española hacia el sur. Actualmente está a la altura de la frontera entre España y Portugal y se propaga hacia el Atlántico bajo el Estrecho de Gibraltar.
    JGU/T21
  • Antiguas canoas revelan cómo los marinos del Neolítico surcaron el Mediterráneo 21 marzo, 2024
    Una nueva investigación liderada por Juan Gibaja, del Consejo Nacional de Investigaciones Científicas (CSIC) de España, y publicada recientemente en la revista PLOS One, arroja luz sobre las primeras embarcaciones neolíticas en el Mediterráneo: las excavaciones en el pueblo de agricultores de la Edad de Piedra de La Marmotta, en Italia, han permitido recuperar cinco […]
    Pablo Javier Piacente
  • En los próximos meses, una "nueva estrella" iluminará el cielo nocturno 21 marzo, 2024
    Los científicos de la NASA han informado que durante este año el sistema estelar T Coronae Borealis podrá verse a simple vista en el cielo nocturno, luego de una violenta explosión cósmica que tendrá lugar en algún momento en los próximos seis meses. La “nueva estrella” en el cielo podrá apreciarse sin la ayuda de […]
    Pablo Javier Piacente
  • La Antártida puede perder su neutralidad y su actividad exclusivamente científica 21 marzo, 2024
    El cambio climático y la creciente demanda de recursos está sacudiendo de la Antártida como continente neutral y exclusivamente científico. La rivalidad entre potencias ha comenzado a hacerse presente en las costas antárticas.
    Eduardo Martínez de la Fe
  • Los primeros recuerdos son solo reconstrucciones mentales 21 marzo, 2024
    Lejos de ser grabaciones fidedignas de la realidad, los primeros recuerdos son más bien un mosaico compuesto por experiencias reales, narrativas familiares y reconstrucciones mentales. A medida que crecemos, este mosaico se enriquece y se transforma, pero los fragmentos de nuestra primera infancia permanecen, en gran medida, como piezas imaginadas en un rompecabezas de la […]
    Redacción T21
  • Los vínculos sociales alinean a las personas en la misma longitud de onda 20 marzo, 2024
    El vínculo social mejora el intercambio de información y sincroniza las actividades cerebrales entre el líder de un grupo y sus seguidores, colocando a todo el grupo en la misma longitud de onda cerebral, según un nuevo estudio de sincronización neuronal.
    Pablo Javier Piacente