NVIDIA ACE da vida a los personajes virtuales con IA generativa

El fulgor de las Inteligencias Artificiales continua y Nvidia no se quiere quedar atrás y es que hace poco acaba de mostrar su nueva plataforma «Avatar Cloud Engine (ACE)» y las capacidades de esta plataforma impresiono a muchos, ya que llamó especialmente la atención porque permite que los jugadores hablen de forma natural con personajes no jugables (NPC) y reciban las respuestas adecuadas.

Con esta noticia el futuro de los videojuegos podría tomar otro rumbo y en especial en títulos de mundo abierto, lo que podría crear una nueva experiencia y sobre todo aumentar las expectativas de mundos virtuales.

Nvidia presento «Avatar Cloud Engine» durante el Computex 2023, con una demostración llamada Kairos con un jugador (humano) hablando con un NPC llamado Jin en una tienda de ramen de aspecto distópico. En el evento, Nvidia presentó la demo como un adelanto de lo que podría ser la colisión entre los videojuegos y la IA.

Desde el reciente avance de LLM, se han realizado intentos de utilizar dichos sistemas de IA en los videojuegos para permitir el diálogo dinámico con personajes que no son jugadores (NPC) y Nvidia acaba de presentar un intento exitoso de un proyecto para crear un diálogo con un NPC.

En el evento Computex 2023, Jensen Huang, CEO de Nvidia, presentó:

«Avatar Cloud Engine (ACE) para juegos». Es un servicio de fundición de modelos de IA, diseñado para dar vida a los personajes de los juegos mediante conversaciones en lenguaje natural, expresión audio-facial y capacidades de texto a voz/de voz a texto.

En la demostración, el jugador (llamado Kai) entra en la tienda de ramen de Jin, le pregunta cómo le va (en voz) y comenta que el vecindario tiene un alto índice de criminalidad. Kai le pregunta si puede ayudarlo y Jin responde:

» Si quieres hacer algo, he escuchado rumores de que el poderoso señor del crimen Kumon Aoki está causando todo tipo de caos en la ciudad «.

Jin agregó que cree que Aoki probablemente esté detrás de la violencia. Kai pregunta dónde encontrar a Aoki y Jin le dice, lo que pone al usuario en el camino para buscar.

“La IA no solo contribuirá a la redefinición y síntesis del entorno, sino también a la animación de los personajes. La IA jugará un papel muy importante en el futuro de los videojuegos”, dijo el CEO de Nvidia.

La demostración fue realizada por Nvidia y su socio Convai para promocionar las herramientas utilizadas para crearla.

«Con Nvidia ACE for Games, el conjunto de herramientas de Convai puede lograr la latencia y la calidad necesarias para hacer que los personajes de IA no jugables sean accesibles de manera rentable para casi cualquier desarrollador», dijo Purnendu Mukherjee, fundador y director ejecutivo de Convai.

Por supuesto, la demostración no solo utiliza estas herramientas. Está construido en Unreal Engine 5, el motor de videojuegos desarrollado por Epic Game, con toneladas de trazado de rayos. Según Nvidia, los modelos de IA que componen ACE varían en tamaño, rendimiento y calidad.

Huang se mostró muy optimista sobre los últimos desarrollos de Nvidia en IA, especialmente la IA generativa y con esta demostración, menciona que es un adelanto de lo que podría ser la colisión entre los juegos y la IA.

Nvidia ACE consta de tres elementos distintos: NeMo, Riva y Omniverse Audio2Face:

• NeMo proporciona excelentes modelos de lenguaje que los desarrolladores pueden personalizar con datos de historias y diálogos.
• Riva puede reconocer el habla y convertir texto a audio, lo que permite conversaciones en vivo con NeMo. Audio2Face convierte la salida de audio de Riva en animaciones faciales que se pueden usar, por ejemplo, para controlar personajes MetaHuman en Unreal Engine 5 a través de Omniverse Links.

Finalmente cabe mencionar que además de ACE for Games, Nvidia anunció una serie de otras colaboraciones y productos, incluida la supercomputadora DGX GH200 AI, que cuenta con 256 chips Grace Hopper con un total de 144 terabytes de memoria y ofrece un rendimiento de IA de gran escala. Según Nvidia, el DGX GH200 GPT-3 es 2,2 veces más rápido que un clúster DGX H100.

Finalmente si estás interesado en poder conocer más al respecto, puedes consultar los detalles en el siguiente enlace.