Amazon es una de las compañías que más están empujando la inteligencia artificial. Si ves competiciones deportivas, te habrás tragado anuncios cada dos por tres sobre AWS y publicidad sobre cómo ciertas estadísticas de esos deportes funcionan gracias a la IA (aunque cuando no había IA, también había estadísticas).
Con Prime Video también tienen una cruzada para automatizar ciertos procesos como el doblaje, y ahora han presentado una IA que no se limita a traducir o sustituir a actores de doblaje: directamente, reescribe digitalmente el movimiento labial de los actores para que parezca que están pronunciando las palabras de cada uno de esos idiomas doblados.
Ya lo están probando en una serie alemana y hay algo que decir: es más viejo que Prime Video.
En corto. Hace unos días, y como leemos en Futurism, Raf Soltanovich, vicepresidente de tecnología de Prime Video y Amazon GMM Studios (porque esto no es sólo cosa de Prime Video, sino de la productora de cine de la compañía), comentó que la compañía quiere crear una forma "más fluida e inmersiva de disfrutar del contenido global".
Eso se traduce en una herramienta de IA que, directamente, toma el vídeo original como referencia y altera digitalmente tanto los labios como la zona inferior del rostro de los actores y actrices, fotograma a fotograma, para que su boca coincida con la pista de audio doblada.
Hay una plataforma de series de IA que deja que cualquiera monte la suya por 150 dólares. Y luego paga por ello
Piloto. Amazon no ha publicado ningún vídeo ni ninguna demo tecnológica, pero sí se sabe que el despliegue empieza ya con la serie 'Maxton Hall'. Se trata de una serie alemana que ya usa esta tecnología de cara al doblaje en inglés y la compañía ya ha dejado claro que, aunque se trata de una prueba, tiene planes de extenderlo a más títulos en un futuro. No tenemos calendario ni si esto llegará a más idiomas apartes del inglés.
Apuesta integral. Lo que sí sabemos es que, como decíamos hace unas línas, Amazon va con el pie a tabla con su apuesta por la IA para su plataforma de vídeo. Más allá de las herramientas algorítmicas, Amazon ya ha delegado en la IA generativa algunos aspectos en su plataforma. Por ejemplo, está probando sistemas de doblaje "asistido por IA" para pelis y series tanto en inglés como en español, así como doblajes generados íntegramente por IA para algunos anime (que provocó una reacción tremendamente negativa tanto por parte de usuarios como de actores).
También resúmenes de series que salieron "tan bien" que, en algunos casos, tuvieron que retirar por la cantidad de errores que tenían. Y producciones directamente hechas con IA, como 'Love, Diana Music Hunters' que recuerdan a cierta peli de K-Pop de Netflix... Entre otras producciones.
Nada nuevo. Pero bueno, pese a todo, el patrón está claro y Amazon parece que tiene la necesidad de empujar todo lo posible esta tecnología. No es para menos teniendo en cuenta la cantidad de dinero que están invirtiendo, pero no es nada nuevo. De hecho, hay empresas como Flawless AI que se fundaron hace años, precisamente, para esto.
También en videojuegos es una tecnología que títulos como 'Cyberpunk 2077' han usado para que la sincronización labial sea mejor en todos los idiomas. De hecho, cuando los deepfakes eran una cosa, la tecnología ya se usaba para esto. A falta de demo de Amazon, aquí va al de Flawless:
Valle inquietante. Volviendo a lo de Amazon, ¿quién va a notar esto? Evidentemente, a los que les molesta mucho que cuando un personaje dice "twice" con un movimiento corto de boca en español suene "dos veces" cuando la boca se ha cerrado un milisegundo antes. El problema es lo que puede ocasionar esta tecnología porque hemos tenido muchos ejemplos de pequeños rasgos faciales modificados por ordenador que, como humanos, notamos enseguida.
La IA, al final, aprende y puede mejorar (ahí está el perenne ejemplo de Will Smith comiendo pasta), pero los humanos estamos diseñados para notar de inmediato y de forma inconsciente cualquier mínima perturbación en las facciones humanas. Nos pasamos una gran parte de nuestra vida "leyendo" rostros, algo que llevamos haciendo desde que somos una especie, por lo que puede que esta tecnología cause más rechazo que el que puede ocasionar el ver una ligera desincronización labial.
México prohibió el doblaje con IA y eso es un problema para las apps de streaming: acaban de perder una de sus herramientas más baratas
Y el problema no es que vayan a doblar con IA, sino que quieren que los actores que trabajen con ellos cedan los derechos de su voz para que Amazon pueda entrenar la IA, algo a lo que sindicatos y asociaciones de doblaje se han negado y, por eso, hay idiomas a los que ciertas compañías no están doblando sus títulos.
Desde Adoma, el mayor sindicato de actores y actrices de voz a nivel nacional, atacaron a Amazon por no proteger a los actores de doblaje con una cláusula de IA adecuada y, además, afirmaron que las empresas entrenan modelos de IA " capaces de generar voces "imitándoles", sin permiso y sin compensación".
En Xataka | En China se producen 470 series hechas con IA al día. El 99,9% de ellas no llega a nadie
