Se presenta GameNGen, un motor de juego basado completamente en un modelo neural que permite la interacción en tiempo real con entornos complejos. Simula el juego clásico DOOM a más de 20 fps en una sola TPU, logrando una calidad comparable a la compresión JPEG. El modelo se entrena en dos fases: 1) un agente de aprendizaje por refuerzo juega y graba sus sesiones, y 2) un modelo de difusión predice el siguiente fotograma basado en acciones pasadas. Se destaca la estabilidad visual en trayectorias largas mediante técnicas de condicionamiento.
He visto el vídeo esta mañana y es impresionante a nivel técnico. No ya el resultado 20 fps y la calidad vs la cantidad de computación que hay que invertir para llegar a este resultado.
#2. Creo que es la red neuronal la que genera el juego y la respuesta al gameplay del jugador en tiempo real. Es decir, no es que se esté ejecutando el programa DOOM, es la propia red neuronal la que ha aprendido a simularlo entrenándola en el juego probablemente con todo el primer nivel. Si no me equivoco y por describirlo de algún modo lo que puede verse en ese video son "los sueños" o la "imaginación", en tiempo real y basados en "recuerdos", de una red neuronal entrenada para ello.
Comentarios
He visto el vídeo esta mañana y es impresionante a nivel técnico. No ya el resultado 20 fps y la calidad vs la cantidad de computación que hay que invertir para llegar a este resultado.
#1 puedes explicarlo con más detalles por favor? Esto es un avance o una curiosidad?
#2. Creo que es la red neuronal la que genera el juego y la respuesta al gameplay del jugador en tiempo real. Es decir, no es que se esté ejecutando el programa DOOM, es la propia red neuronal la que ha aprendido a simularlo entrenándola en el juego probablemente con todo el primer nivel. Si no me equivoco y por describirlo de algún modo lo que puede verse en ese video son "los sueños" o la "imaginación", en tiempo real y basados en "recuerdos", de una red neuronal entrenada para ello.