Sony experimenta con personajes de PlayStation impulsados por IA, que pueden conversar con los jugadores
Una demo interna revela cómo Sony está desarrollando una versión interactiva de Aloy, capaz de mantener conversaciones mediante IA, voz sintética y expresiones faciales avanzadas en tiempo real.
Sony se encuentra trabajando en un prototipo que emplea inteligencia artificial para dar vida a al menos uno de sus personajes más populares de PlayStation: Aloy, la protagonista de la saga Horizon, con la que podemos conversar mientras jugamos.
Una fuente anónima compartió con The Verge un vídeo interno del grupo de PlayStation, mostrando un modelo experimental basado en inteligencia artificial de Aloy, con el que puedes mantener una conversación. Poco después de publicar esta información, el vídeo fue eliminado de YouTube debido a una reclamación de derechos realizada por Muso, empresa encargada de gestionar los derechos de autor para clientes como Sony Interactive Entertainment.
El vídeo original estaba narrado por Sharwin Raghoebardajal, director de ingeniería de software en Sony Interactive Entertainment, especializado en tecnologías relacionadas con videojuegos, IA, visión artificial y animación facial para el grupo de tecnología avanzada de PlayStation Studios. En esta demostración, Raghoebardajal mostró cómo Aloy, potenciada por inteligencia artificial, podía mantener una conversación fluida con los jugadores mediante comandos de voz durante una partida.
En el vídeo, Aloy respondía a diversas preguntas con una voz generada mediante IA y movimientos faciales sincronizados, tanto en un entorno de demostración como dentro del juego completo de Horizon Forbidden West (2022). Raghoebardajal aclaró que este proyecto es solo un prototipo, desarrollado en colaboración con Guerrilla Games, cuyo propósito actual es únicamente demostrar internamente las capacidades de esta tecnología en Sony.
Esta demostración utiliza el modelo Whisper de OpenAI para la conversión de voz a texto, y GPT-4 junto con Llama 3 para generar conversaciones y decisiones. Por otro lado, Sony emplea su propio sistema interno llamado Emotional Voice Synthesis (EVS) para generar voz, mientras que la tecnología Mockingbird, también de Sony, se encarga de sincronizar la voz generada con las animaciones faciales.
Aunque la demostración se mostró funcionando en un PC, Raghoebardajal indicó que Sony también ha probado ejecutar partes de esta tecnología directamente en consolas PlayStation 5, con un impacto mínimo sobre el rendimiento. Sony mostró esta tecnología por primera vez hace un año internamente, y posteriormente presentó una versión más avanzada en su feria interna Sony Technology Exchange Fair (STEF) celebrada en Tokio el pasado mes de noviembre. "Esto es solo un pequeño adelanto de lo que es posible", afirmó Raghoebardajal.
Nvidia también ha desarrollado una tecnología similar llamada ACE, diseñada para que los jugadores puedan hablar libremente con personajes no jugables (NPC) potenciados con IA. Durante 2024, la empresa presentó varias veces esta tecnología, y Inzoi, el ambicioso simulador de vida de Krafton que se lanzará el 28 de marzo en acceso anticipado, ha prometido que utilizará esta tecnología.
Sony se encuentra trabajando en un prototipo que emplea inteligencia artificial para dar vida a al menos uno de sus personajes más populares de PlayStation: Aloy, la protagonista de la saga Horizon, con la que podemos conversar mientras jugamos.
Una fuente anónima compartió con The Verge un vídeo interno del grupo de PlayStation, mostrando un modelo experimental basado en inteligencia artificial de Aloy, con el que puedes mantener una conversación. Poco después de publicar esta información, el vídeo fue eliminado de YouTube debido a una reclamación de derechos realizada por Muso, empresa encargada de gestionar los derechos de autor para clientes como Sony Interactive Entertainment.
Podrías hablar con Aloy mientras juegas
El vídeo original estaba narrado por Sharwin Raghoebardajal, director de ingeniería de software en Sony Interactive Entertainment, especializado en tecnologías relacionadas con videojuegos, IA, visión artificial y animación facial para el grupo de tecnología avanzada de PlayStation Studios. En esta demostración, Raghoebardajal mostró cómo Aloy, potenciada por inteligencia artificial, podía mantener una conversación fluida con los jugadores mediante comandos de voz durante una partida.
En el vídeo, Aloy respondía a diversas preguntas con una voz generada mediante IA y movimientos faciales sincronizados, tanto en un entorno de demostración como dentro del juego completo de Horizon Forbidden West (2022). Raghoebardajal aclaró que este proyecto es solo un prototipo, desarrollado en colaboración con Guerrilla Games, cuyo propósito actual es únicamente demostrar internamente las capacidades de esta tecnología en Sony.
Esta demostración utiliza el modelo Whisper de OpenAI para la conversión de voz a texto, y GPT-4 junto con Llama 3 para generar conversaciones y decisiones. Por otro lado, Sony emplea su propio sistema interno llamado Emotional Voice Synthesis (EVS) para generar voz, mientras que la tecnología Mockingbird, también de Sony, se encarga de sincronizar la voz generada con las animaciones faciales.
Aunque la demostración se mostró funcionando en un PC, Raghoebardajal indicó que Sony también ha probado ejecutar partes de esta tecnología directamente en consolas PlayStation 5, con un impacto mínimo sobre el rendimiento. Sony mostró esta tecnología por primera vez hace un año internamente, y posteriormente presentó una versión más avanzada en su feria interna Sony Technology Exchange Fair (STEF) celebrada en Tokio el pasado mes de noviembre. "Esto es solo un pequeño adelanto de lo que es posible", afirmó Raghoebardajal.
Nvidia también ha desarrollado una tecnología similar llamada ACE, diseñada para que los jugadores puedan hablar libremente con personajes no jugables (NPC) potenciados con IA. Durante 2024, la empresa presentó varias veces esta tecnología, y Inzoi, el ambicioso simulador de vida de Krafton que se lanzará el 28 de marzo en acceso anticipado, ha prometido que utilizará esta tecnología.