Los mundos virtuales masivos creados por un número creciente de empresas y creadores podrían poblarse más fácilmente con una diversa gama de edificios, vehículos, personajes y más en 3D, gracias a un nuevo modelo de IA de Investigación de NVIDIA.
Entrenado usando solo imágenes 2D, Nvidia GET3D genera formas 3D con texturas de alta fidelidad y detalles geométricos complejos. Estos objetos 3D se crean en el mismo formato que utilizan las aplicaciones de software program de gráficos más populares, lo que permite a los usuarios importar inmediatamente sus formas en renderizadores 3D y motores de juegos para su posterior edición.
Los objetos generados podrían usarse en representaciones 3D de edificios, espacios al aire libre o ciudades enteras, diseñados para industrias que incluyen juegos, robótica, arquitectura y redes sociales.
GET3D puede generar una cantidad prácticamente ilimitada de formas 3D en función de los datos en los que se entrena. Como un artista que convierte un trozo de arcilla en una escultura detallada, el modelo transforma números en formas 3D complejas.
Con un conjunto de datos de entrenamiento de imágenes de automóviles en 2D, por ejemplo, crea una colección de sedanes, camiones, autos de carrera y camionetas. Cuando se entrena con imágenes de animales, se le ocurren criaturas como zorros, rinocerontes, caballos y osos. Dadas las sillas, el modelo genera una variedad de sillas giratorias, sillas de comedor y cómodos sillones reclinables.
“GET3D nos acerca un paso más a la democratización de la creación de contenido 3D impulsado por IA”, dijo Sanja Fidler, vicepresidenta de investigación de IA en NVIDIA, quien lidera el Laboratorio de inteligencia synthetic con sede en Toronto que creó la herramienta. “Su capacidad para generar instantáneamente formas 3D texturizadas podría cambiar las reglas del juego para los desarrolladores, ayudándolos a poblar rápidamente mundos virtuales con objetos variados e interesantes”.
OBTENER3D es uno de los más de 20 artículos y talleres escritos por NVIDIA aceptados en la conferencia NeurIPS AI, que se llevará a cabo en Nueva Orleans y de forma digital, del 26 de noviembre al 26 de diciembre. 4.
Se necesita tipos de IA para hacer un mundo digital
El mundo actual está lleno de variedad: las calles están llenas de edificios únicos, con diferentes vehículos zumbando y diversas multitudes pasando. Modelar manualmente un mundo digital 3D que refleje esto requiere mucho tiempo, lo que dificulta completar un entorno digital detallado.
Aunque más rápidos que los métodos manuales, los modelos anteriores de IA generativa en 3D estaban limitados en el nivel de detalle que podían producir. Incluso los métodos de representación inversa recientes solo pueden generar objetos 3D basados en imágenes 2D tomadas desde varios ángulos, lo que requiere que los desarrolladores construyan una forma 3D a la vez.
En cambio, GET3D puede producir unas 20 formas por segundo cuando se ejecuta inferencia en una sola GPU NVIDIA, trabajando como un purple adversaria generativa para imágenes 2D, mientras genera objetos 3D. Cuanto más grande y diverso sea el conjunto de datos de entrenamiento del que se aprende, más variado y detallado será el resultado.
Los investigadores de NVIDIA entrenaron a GET3D con datos sintéticos que consisten en imágenes 2D de formas 3D capturadas desde diferentes ángulos de cámara. Al equipo le tomó solo dos días entrenar al modelo en alrededor de 1 millón de imágenes usando GPU NVIDIA A100 Tensor Core.
Permitir a los creadores modificar la forma, la textura y el materials
GET3D recibe su nombre de su capacidad para GRAMOenerar miexplícito Texturado 3D mallas, lo que significa que las formas que crea tienen la forma de una malla triangular, como un modelo de papel maché, cubierto con un materials texturizado. Esto permite a los usuarios importar fácilmente los objetos en motores de juegos, modeladores 3D y renderizadores de películas, y editarlos.
Una vez que los creadores exportan formas generadas por GET3D a una aplicación de gráficos, pueden aplicar efectos de iluminación realistas a medida que el objeto se mueve o gira en una escena. Al incorporar otra herramienta de IA de NVIDIA Analysis, EstiloGAN-NADAlos desarrolladores pueden usar indicaciones de texto para agregar un estilo específico a una imagen, como modificar un automóvil renderizado para convertirlo en un automóvil quemado o un taxi, o convertir una casa regular en una embrujada.
Los investigadores señalan que una versión futura de GET3D podría usar técnicas de estimación de pose de cámara para permitir a los desarrolladores entrenar el modelo con datos del mundo actual en lugar de conjuntos de datos sintéticos. También podría mejorarse para admitir la generación common, lo que significa que los desarrolladores podrían entrenar GET3D en todo tipo de formas 3D a la vez, en lugar de tener que entrenarlo en una categoría de objetos a la vez.
Para las últimas noticias de Investigación de IA de NVIDIAvea la repetición del discurso de apertura del fundador y director ejecutivo de NVIDIA, Jensen Huang, en GTC:
