Uno se pasa por el anuncio oficial de Atlas y la cosa no parece para tanto. Hace ya tiempo que los modelos de IA generativa de vídeo son capaces de crear todo tipo de escenas con un realismo fantástico. Sin embargo este nuevo modelo quiere ir más allá de la IA generativa para dar el salto a los prometedores "modelos del mundo". Atlas es el resultado de ese esfuerzo, y lo cierto es que la propuesta es llamativa por dos cosas: la primera, por cómo logra reconstruir nuestro mundo a partir de información limitada. La segunda, porque quien está detrás es Fei-Fei Li, considerada como la "madrina de la IA".
Atlas no es otro generador de vídeos más. World Labs lo describe como un modelo multimodal entrenado desde cero para operar con texto, imágenes, posiciones de cámara, mapas de profundidad y secuencias de vídeo. Todos esos tipos de entrada se combinan para crear un contexto espacial común que luego permite generar nuevas observaciones que son coherentes con el espacio 3D que percibe el modelo. Técnicamente se denomina un multimodal autoregressive diffusion transformer, pero aquí lo que se predice no es el siguiente token de una palabra o frase, sino lo que debería verse a continuación desde una determinada posición del espacio.
Ya has grabado, ahora mueve la cámara. En varias de las demostraciones de ese anuncio oficial se ve cómo por ejemplo hay escenas grabadas con dos o tres smartphones a partir de las cuales Atlas puede generar perspectivas que no se grabaron con niguna cámara. Las crea de la nada pero siempre manteniendo coherencia con los datos reales que sí tiene (de imágenes, grabaciones, o los citados mapas de profundidad, por ejemplo). En una entrevista con a16z, Fei-Fei Li lo expresaba claramente: "No hay lenguaje ahí fuera. No sales a la naturaleza y ves palabras escritas en el cielo para ti".
Cineastas del mundo, atentos. Uno puede crear un prompt que describa una trayectoria de cámara específica y muy detallada, por ejemplo y eso permite que el modelo del mundo genere una visualización realmente convincente de esas perspectivas aun cuando nunca se grabaron con cámaras reales. Esto abre posibilidades espectaculares, como por ejemplo grabar una escena y que luego puedas colocar la cámara en sitios donde nunca estuvo para ver y mostrar a escena desde ahí.
Pero Atlas no ve lo que no ocurre. Si le damos a este modelo tres fotografías de una habitación, no puede saber exactamente qué había detrás del sofá o en una esquina que ninguna cámara captó. Lo que se hace ahí es generar una solución plausible inventando contenido que sea coherente. World Labs lo resume con una frase: cuantas más imágenes recibe, menos tiene que imaginar.
Más allá del cine. Aunque las aplicaciones para creadores de contenido o para la industria audiovisual y del cine son evidentes, esto puede aplicarse a campos diversos. Uno de los más prometedores es el de la robótica: Atlas puede convertir unas pocas imágenes de un lugar real en un entorno que un robot virtual puede recorrer. El modelo genera las imágenes y datos de profundidad que los sensores del robots captarían desde distintas trayectorias. La empresa lo llama real-to-sim: capturar un espacio real, convertirlo en una simulación utilizarla luego para entrenar o evaluar robots antes de dejarlos sueltos en el mundo físico real.
Entrenar robots no es como entrenar a un LLM. Para enseñarle a un robot a recoger una taza necesitamos la taza, una mesa, cámaras, sensores, un robot y multitud de intentos físicos. Además ese entorno cambia: la iluminación varía, los objetos pueden moverse y las cosas pueden romperse. World Labs señala que esa es una de las grandes dificultades a la hora de sacar los robots del laboratorio. Estas simulaciones permiten repetir purebas y cometer fallos sin pagar el coste que esos fallos tendrían en el mundo real. Runway persigue algo parecido con GWM-1, por ejemplo.
Bienvenidos a la "internet de los robots". Con Atlas lo que se plantea es crear una especie de internet perfecta para el entrenamiento de robots. En lugar de estar compuesta de páginas web, estaría compuesta de cantidades enormes de espacios tridimensionales con los que poder experimentar. Atlas aún no ofrece algo así como producto completo, pero la estrategia de World Labs es la de crear modelos capaces de percibir, generar, razonar e interactuar con mundos virtuales y físicos.
Los videojuegos ya dieron un paso llamativo en este ámbito. Cada juego tridimensional contiene datos como la geometría del mundo virtual, cámaras, objetos, texturas, físicas y millones de posiciones desde las que observar un escenario. Por eso emiezan a surgir empreas que quieren convertir esos mundos virtuales en formmmas de entrenar estos modelos del mundo. Los LLM se han apropiado de millones de textos y libros escritos por humanos, pero los modelos espaciales pueden aprovecharse de esos mundos virtuales que se construyeron en el mundo de los videojuegos, pero también en otros ámbitos como los simuladores o el segmento de la arquitectura.
