Normalmente, un jugador de Q*bert salta de cubo en cubo para cambiar el color de todas las plataformas y luego pasa al siguiente nivel. La IA descubrió que podía terminar el primer nivel con normalidad y después empezar a dar saltos aparentemente aleatorios entre los cubos para que todas las plataformas empezaran a parpadear. Con este extraño método llegó a acumular hasta un millón de puntos en el tiempo límite que le otorgaban los investigadores. https://www.youtube.com/watch?v=meE5aaRJ0Zs
#14:
#2 ¿Cómo es posible hablar con la boca tan llena de palillos?
#3:
Buenos días, profesor Falken. ¿Le apetece una partida de ajedrez?
#5:
#2 >Que programen una IA con machine learning para ¡Tachan! aprender a jugar de la forma más rastrera, es decir, ir a por puntos.
Entonces, igual que un humano. Lo está haciendo de maravilla.
#1:
Eliminar los archivos. Incinerar las instalaciones.
- Q-Bert no es mediocre. Es un gran videojuego (en el contexto de la época) con el que muchos se iniciaron y que forma parte de la historia.
- El "ir a por puntos" era prácticamente el objetivo de todos los videojuegos de principio de los 80, por tanto, tiene sentido que su objetivo sea ese dado que no hay mayor premio.
#15 Hemos cambiado la religión por unas mamadas indecentes al positivismo obsesivo.Q sí que para ir a Marte vale, falta humanismo y la ciencia para curar enfermedades, ordenadores cuánticos...pero sin tanta adoración a los Reyes.
Mierda de ciencia , y tengo formación científica en diseños experimentales , estadística , biología ...
Eso no es hacer trampa. La habrán programado para ir a por el máximo número posible de puntos, y eso es lo que a hecho, ir a por puntos, aprovechando las condiciones existentes (el "juego"). Si un humano hiciera lo mismo, tampoco sería trampa. Siempre y cuando al humano se le hubiera pedido el mismo objetivo: sacar el máximo número de puntos que pueda, aprovechando las condiciones existentes. Si los programadores del juego no habían previsto esa manera de sacar puntos, eso es otro asunto (allá ellos con sus opiniones; haber programado eso de otra manera, sin lagunas aprovechables), pero no es trampa obedecer la orden: "saca puntos", y obedecer sacando los máximos puntos que uno pueda.
#11 Programando asíncronamente, a veces tenemos bugs porque un proceso acaba inesperadamente antes que otro, y no se tuvo en cuenta en el diseño. Intentas reproducirlo una y otra vez, y no hay manera, porque sólamente se da bajo condiciones muy precisas que no se dan en el entorno en el que estás probando.
Hacer trampa requiere una consideración consciente del problema, para tratar del burlarlo. En efecto, aquí no hay nada de eso. De hecho, un humano que por fortuna encontrara el error podría aprovecharlo, pero solo para artificialmente dejar un récord en espera de que el resto de jugadores "piensen" que menudo hacha ha sido el tío que ha dejado tremenda marca; sin embargo, ese romperécords no le encontrará ningún sentido a seguir jugando de esa manera, al perder todo aliciente. ¿Sabe lo que es un aliciente una máquina, el disfrute?
#22 No estoy troleando a nadie, pero por mi trabajo conozco muy bien este tema y me hace gracia ver las cosas que suelta la gente en meneame, normalmente no entro al trapo, por que ya estoy cansado de que aquí en esta página todo el mundo es experto en todo... pero bueno.
Para ser pedante, un apunte:
No todos los problemas son tan simples como hacer clasificaciones
Aprender a clasificar no es un problema simple. De hecho, lo único que puede hacer una red neuronal es clasificar, igual que es lo único que puede hacer una SVM o un Ensemble tree.
Aprender clasificar no es solo que no es un problema simple, sino que en realidad si lo piensas clasificar lo es todo. Aprender a clasificar consiste en extraer un patrón de un conjunto de datos, o en separar la señal del ruido. Y eso es básicamente lo que es la inteligencia y ese es básicamente el problema general de la inteligencia artificial. De hecho, para expresarlo de otra forma, aprender a clasificar consiste en aproximar una función solo observando sus entradas y salidas, que de nuevo, es el problema general de la inteligencia artificial (la búsqueda del santo grial del aproximador universal y sin parámetros)
Lo que están haciendo con los juegos es interesante, nosotros ya sabemos que Q learning puede encontrar el máximo de cualquier MDP, pero ahora usando distintas estrategias de clasificación, por ejemplo redes neuronales (deep Q learning) podemos hacer esa busqueda mucho mas rápido aunque no lleguemos al máximo teorico, pero hacemos viable el algoritmo para un espacio muchísimo mas grande, haciendolo viable para casos de uso del mundo real, como un videojuego.
En fin, que he soltado el rollo, simplemente me ha sorprendido que digas que no todo es tan simple como clasificar (que por el contexto deduzco que te referías a aprender a clasificar, por que para clasificar no necesitas ninguna red neuronal ni nada de AI).
#26 por tu respuesta de #13, en ningún momento he dicho que sea un experto. Mi especialidad es hardware (sistemas embebidos, FPGA, sensores inalámbricos, todo ese rollo )
Por lo poco que estoy leyendo ahora mismo, este libro en concreto https://www.amazon.es/Make-Your-Neural-Network-English-ebook/dp/B01EER4Z4G entiendo el uso de la puntuación como un sistema para medir el éxito. En PID y filtros de Kalman se hace exactamente lo mismo con variables de error para corregir y estimar el éxito que estas teniendo. Por eso me ha hecho gracia cuando se critica el usar la puntuación, porque ya no es solo no entender de redes neuronales, sino tampoco de sistemas de control.
La IA va a por puntos porque es la referencia que le da el que la programa para que aprenda a jugar mejor. Otra cosa es que eso, incidentalmente, probando posibilidades encuentre un bug.
#18 yo la noticia la veo más como que la IA siempre activa el bug porque es la forma en la que se ganan más puntos.
Es como si programas a una IA para que busque la felicidad y acaba enganchada a una droga diciéndote que eso es la felicidad.
Un humano creo que no usaría el bug porque, aunque sea la mejor forma de ganar puntos, sabemos que el juego no estaba pensado así, y por lo tanto deducimos que usarlo es hacer trampa y esos puntos no cuentan.
Con la droga sabemos que esa felicidad es falsa y que dura solamente lo que duran sus efectos, así que usarlas constantemente no crea felicidad a largo plazo.
#34 Claro pero nosotros ahí tenemos un parámetro para distinguir que esa felicidad inmediata es "falsa" y podemos entonces seguir buscando otro camino.
Si la IA es programada con ese tipo de discriminación no veo motivo por el que no tomara la misma decisión que nosotros (p.ej viendo que su solución es buena a corto plazo pero no a largo).
Recomiendo a todos los meneantes que apuren el tiempo que les queda. Con un poco de suerte algunos de ellos no llegarán vírgenes al segundo final de su vida.
Yo pensaba que era un algoritmo de recorrido del juego en profundidad, aunque claro, uno tiende a eliminar directamente aquellos caminos que hacen perder una vida
#4 No conozco el juego, pero parece que hay un bichejo que si lo tocas, mueres. Ese bichejo es aleatorio o pseudoaleatorio, y, por tanto, no vale una búsqueda en profundidad. Eso sólo funciona cuando las reglas de juego y movimiento están totalmente especificadas para todos los actores.
Pero a ver.. esto es bastante normal. Una IA se basa en la curiosidad (hacer todos los movimientos posibles). Vete a saber cuántas partidas habrá jugado a ese juego... 300000?
Que de todos los juegos del mundo hayan elegido uno tan mediocre como Q-Bert.
Que programen una IA con machine learning para ¡Tachan! aprender a jugar de la forma más rastrera, es decir, ir a por puntos.
#2 >Que programen una IA con machine learning para ¡Tachan! aprender a jugar de la forma más rastrera, es decir, ir a por puntos.
Entonces, igual que un humano. Lo está haciendo de maravilla.
#2 Sino entiendes como funciona una IA, red neuronal etc, no te metas a criticar. A una red neuronal se le tiene que dar una variable para medir el éxito de la jugada que acaba de probar, de ahí que se usen los puntos.
Por si a alguien realmente le interesa aprender el funcionamiento básico de las redes neuronales, hay una serie de videos referencia:
Lo que ha dicho #7 es relativamente cierto. Normalmente en redes neuronales retroalimentadas necesitas proporcionar un método que "corrija", o al menos lo intente, los pesos de la red. Se suele tratar con problemas de minimizacion de errores con sus problemas asociados (ej: minimos relativos,...).
No todos los problemas son tan simples como hacer clasificaciones (ej. reconocimiento de números/letras,...). Por ello los juegos se prestan bastante para hacer experimentos con redes neuronales: dispones de inputs acotados y de criterios de error/mejora concretos (puntuaciones, perdidas de vida,...).
- Q-Bert no es mediocre. Es un gran videojuego (en el contexto de la época) con el que muchos se iniciaron y que forma parte de la historia.
- El "ir a por puntos" era prácticamente el objetivo de todos los videojuegos de principio de los 80, por tanto, tiene sentido que su objetivo sea ese dado que no hay mayor premio.
#24 No glorifiquemos el pasado, era un videojuego bastante mierder en su época. Para que mi yo de los años ochenta lo considerara un juego aburrido, tenía que ser una castaña de cuidado.
Comentarios
Buenos días, profesor Falken. ¿Le apetece una partida de ajedrez?
#3 Soy mas del tic-tac-toe...
Eliminar los archivos. Incinerar las instalaciones.
#1 Lobotomizar a los científicos.
#15 Hemos cambiado la religión por unas mamadas indecentes al positivismo obsesivo.Q sí que para ir a Marte vale, falta humanismo y la ciencia para curar enfermedades, ordenadores cuánticos...pero sin tanta adoración a los Reyes.
Mierda de ciencia , y tengo formación científica en diseños experimentales , estadística , biología ...
Eso no es hacer trampa. La habrán programado para ir a por el máximo número posible de puntos, y eso es lo que a hecho, ir a por puntos, aprovechando las condiciones existentes (el "juego"). Si un humano hiciera lo mismo, tampoco sería trampa. Siempre y cuando al humano se le hubiera pedido el mismo objetivo: sacar el máximo número de puntos que pueda, aprovechando las condiciones existentes. Si los programadores del juego no habían previsto esa manera de sacar puntos, eso es otro asunto (allá ellos con sus opiniones; haber programado eso de otra manera, sin lagunas aprovechables), pero no es trampa obedecer la orden: "saca puntos", y obedecer sacando los máximos puntos que uno pueda.
#9 A mi lo que me sorprende es que ese fallo tan chorras no lo hubiera probado nadie antes
#11 Programando asíncronamente, a veces tenemos bugs porque un proceso acaba inesperadamente antes que otro, y no se tuvo en cuenta en el diseño. Intentas reproducirlo una y otra vez, y no hay manera, porque sólamente se da bajo condiciones muy precisas que no se dan en el entorno en el que estás probando.
#38 Vamos un race condition (tambien soy picateclas :P)
#9 ¿Es encontrar un bug de chiripa hacer trampa?
Hacer trampa requiere una consideración consciente del problema, para tratar del burlarlo. En efecto, aquí no hay nada de eso. De hecho, un humano que por fortuna encontrara el error podría aprovecharlo, pero solo para artificialmente dejar un récord en espera de que el resto de jugadores "piensen" que menudo hacha ha sido el tío que ha dejado tremenda marca; sin embargo, ese romperécords no le encontrará ningún sentido a seguir jugando de esa manera, al perder todo aliciente. ¿Sabe lo que es un aliciente una máquina, el disfrute?
Una chorrada de noticia sensacionalista.
#9 #12 joer qué rabia. la voté y ahora leyéndoos.. trampa no es la palabra
#22 No estoy troleando a nadie, pero por mi trabajo conozco muy bien este tema y me hace gracia ver las cosas que suelta la gente en meneame, normalmente no entro al trapo, por que ya estoy cansado de que aquí en esta página todo el mundo es experto en todo... pero bueno.
Para ser pedante, un apunte:
No todos los problemas son tan simples como hacer clasificaciones
Aprender a clasificar no es un problema simple. De hecho, lo único que puede hacer una red neuronal es clasificar, igual que es lo único que puede hacer una SVM o un Ensemble tree.
Aprender clasificar no es solo que no es un problema simple, sino que en realidad si lo piensas clasificar lo es todo. Aprender a clasificar consiste en extraer un patrón de un conjunto de datos, o en separar la señal del ruido. Y eso es básicamente lo que es la inteligencia y ese es básicamente el problema general de la inteligencia artificial. De hecho, para expresarlo de otra forma, aprender a clasificar consiste en aproximar una función solo observando sus entradas y salidas, que de nuevo, es el problema general de la inteligencia artificial (la búsqueda del santo grial del aproximador universal y sin parámetros)
Lo que están haciendo con los juegos es interesante, nosotros ya sabemos que Q learning puede encontrar el máximo de cualquier MDP, pero ahora usando distintas estrategias de clasificación, por ejemplo redes neuronales (deep Q learning) podemos hacer esa busqueda mucho mas rápido aunque no lleguemos al máximo teorico, pero hacemos viable el algoritmo para un espacio muchísimo mas grande, haciendolo viable para casos de uso del mundo real, como un videojuego.
En fin, que he soltado el rollo, simplemente me ha sorprendido que digas que no todo es tan simple como clasificar (que por el contexto deduzco que te referías a aprender a clasificar, por que para clasificar no necesitas ninguna red neuronal ni nada de AI).
#26 por tu respuesta de #13, en ningún momento he dicho que sea un experto. Mi especialidad es hardware (sistemas embebidos, FPGA, sensores inalámbricos, todo ese rollo )
Por lo poco que estoy leyendo ahora mismo, este libro en concreto https://www.amazon.es/Make-Your-Neural-Network-English-ebook/dp/B01EER4Z4G entiendo el uso de la puntuación como un sistema para medir el éxito. En PID y filtros de Kalman se hace exactamente lo mismo con variables de error para corregir y estimar el éxito que estas teniendo. Por eso me ha hecho gracia cuando se critica el usar la puntuación, porque ya no es solo no entender de redes neuronales, sino tampoco de sistemas de control.
La IA va a por puntos porque es la referencia que le da el que la programa para que aprenda a jugar mejor. Otra cosa es que eso, incidentalmente, probando posibilidades encuentre un bug.
#18 yo la noticia la veo más como que la IA siempre activa el bug porque es la forma en la que se ganan más puntos.
Es como si programas a una IA para que busque la felicidad y acaba enganchada a una droga diciéndote que eso es la felicidad.
Un humano creo que no usaría el bug porque, aunque sea la mejor forma de ganar puntos, sabemos que el juego no estaba pensado así, y por lo tanto deducimos que usarlo es hacer trampa y esos puntos no cuentan.
Con la droga sabemos que esa felicidad es falsa y que dura solamente lo que duran sus efectos, así que usarlas constantemente no crea felicidad a largo plazo.
#34 Claro pero nosotros ahí tenemos un parámetro para distinguir que esa felicidad inmediata es "falsa" y podemos entonces seguir buscando otro camino.
Si la IA es programada con ese tipo de discriminación no veo motivo por el que no tomara la misma decisión que nosotros (p.ej viendo que su solución es buena a corto plazo pero no a largo).
Cada vez que alguien llama IA a estas cosas muere un gatito (robot)
Skynet está cada vez más cerca.
Recomiendo a todos los meneantes que apuren el tiempo que les queda. Con un poco de suerte algunos de ellos no llegarán vírgenes al segundo final de su vida.
he visto todo el video y ha sido lo mas interesante que hice en todo el dia han sido 13 min sublimes.
#25 es lo que tiene la IA
Yo pensaba que era un algoritmo de recorrido del juego en profundidad, aunque claro, uno tiende a eliminar directamente aquellos caminos que hacen perder una vida
#4 No conozco el juego, pero parece que hay un bichejo que si lo tocas, mueres. Ese bichejo es aleatorio o pseudoaleatorio, y, por tanto, no vale una búsqueda en profundidad. Eso sólo funciona cuando las reglas de juego y movimiento están totalmente especificadas para todos los actores.
Ostras, nunca entendí ese juego, me lo saltaba directamente
#21 Molaban más otros
#39 que maravilla
Yo hubiera optado por algún juego manipulado para que al llegar a cierto nivel sea imposible hacerlo y ver como reacciona dicha IA.
Pero a ver.. esto es bastante normal. Una IA se basa en la curiosidad (hacer todos los movimientos posibles). Vete a saber cuántas partidas habrá jugado a ese juego... 300000?
Hay dos cosas que me sorprenden:
Que de todos los juegos del mundo hayan elegido uno tan mediocre como Q-Bert.
Que programen una IA con machine learning para ¡Tachan! aprender a jugar de la forma más rastrera, es decir, ir a por puntos.
#2 >Que programen una IA con machine learning para ¡Tachan! aprender a jugar de la forma más rastrera, es decir, ir a por puntos.
Entonces, igual que un humano. Lo está haciendo de maravilla.
#2 Sino entiendes como funciona una IA, red neuronal etc, no te metas a criticar. A una red neuronal se le tiene que dar una variable para medir el éxito de la jugada que acaba de probar, de ahí que se usen los puntos.
#7 Interesante, como funciona según tu una red neuronal?
#13
But what is a Neural Network?
#13 no hay necesidad de trolear a nadie
Por si a alguien realmente le interesa aprender el funcionamiento básico de las redes neuronales, hay una serie de videos referencia:
Lo que ha dicho #7 es relativamente cierto. Normalmente en redes neuronales retroalimentadas necesitas proporcionar un método que "corrija", o al menos lo intente, los pesos de la red. Se suele tratar con problemas de minimizacion de errores con sus problemas asociados (ej: minimos relativos,...).
No todos los problemas son tan simples como hacer clasificaciones (ej. reconocimiento de números/letras,...). Por ello los juegos se prestan bastante para hacer experimentos con redes neuronales: dispones de inputs acotados y de criterios de error/mejora concretos (puntuaciones, perdidas de vida,...).
#13 Aprendiendo de decisiones anteriores y cotejando. Plan frío/caliente como cuando jugábamos de pequeños.
#2 Si te sorprenden es que te falta casi toda la información para poder emitir un juicio válido.
#2 ¿Cómo es posible hablar con la boca tan llena de palillos?
#2 ¿Mediocre el Q*Bert? Deberían embrearlo a usted, señor, y emplumarlo.
#2
#2 A ver por donde empezamos:
- Q-Bert no es mediocre. Es un gran videojuego (en el contexto de la época) con el que muchos se iniciaron y que forma parte de la historia.
- El "ir a por puntos" era prácticamente el objetivo de todos los videojuegos de principio de los 80, por tanto, tiene sentido que su objetivo sea ese dado que no hay mayor premio.
#24 No glorifiquemos el pasado, era un videojuego bastante mierder en su época. Para que mi yo de los años ochenta lo considerara un juego aburrido, tenía que ser una castaña de cuidado.