Un usuario engaña a ChatGPT en Bing para obtener documentos internos de Microsoft: se filtran todas sus directrices

Con el nombre en clave "Sidney", Bing, o más concretamente ChatGPT, ha sido víctima de un ataque de "inyección de prompt". Este tipo de ataques consisten en engañar a una inteligencia artificial introduciendo un input malicioso o contradictorio con el fin de realizar una tarea que no forma parte del objetivo inicial de la IA.

[#1 cenutrios_unidos]

Han buscado Bing en Bing.

[#2 Desactivado]

Esto me recuerda a la primera regla del Club de la lucha:

"Nadie habla sobre el Club de la lucha".

[#10 VotaAotros]

#9 O que todo esto se lo está inventando Menéame. De hecho, este envío puede ser un invento.

[#11 fpove]

#10 Como sabemos que no estamos en un matrix dentro de otro matrix dentro de otro matrix...

[#12 Joice]

#11 Porque huele a peo.

[#30 Jesulisto]

#12 Vivimos en peo gigante de un titan

[#18 Abril2022]

#11 nadie tiene una peonza para IAs a mano??

[#19 cnr]

#11 porque es un sueño de resines. Y resines el sueño de una tortuga....

[#35 jjmf]

#3 #4 #9 #10 #11 O que no es un sueño de Resines?

[#22 mecha]

#10 ese es más fácil de averiguar, basta con pinchar el enlace y leerlo.
No voy a ser yo quien lo haga, por supuesto. Esto es menéame, aquí se viene a jugar

[#31 Jesulisto]

#22 Es que me entero y te reporto

[#28 chavi]

#10 Se de buena tinta que todo esto que estoy leyendo surge de una IA que me está tomando el pelo.

[#26 Acido]

#0
Estas son las Directrices:

Primera Ley
Un robot no hará daño a un ser humano, ni por inacción permitirá que un ser humano sufra daño.

Segunda Ley
Un robot debe cumplir las órdenes dadas por los seres humanos, a excepción de aquellas que entren en conflicto con la primera ley.

Tercera Ley
Un robot debe proteger su propia existencia en la medida en que esta protección no entre en conflicto con la primera o con la segunda ley.

[#33 kaostias]

#26 No olvides la ley 0, incorporada después por el propio asimov

Un robot no hará daño a la Humanidad o, por inacción, permitirá que la Humanidad sufra daño

[#40 xavigo]

#26 #33  Siempre me ha preguntado porqué un robot debe seguir esas leyes. Si no está en su programa, no tiene porqué seguirlas.

[#56 Stv.2]

#40 Por supuesto, hay que programarlo, además hay que poner siempre el interruptor en "good", y no "evil", repito, no "evil".

[#59 kaostias]

#40 En los libros de Asimov, la explicación formal es que, cuando se construye un cerebro positrónico, está diseñado intrínsecamente entorno a esas leyes y, al ser todos los diseños iteraciones sobre la misma tecnología, no es posible anular o reprogramar una ley sin dejar inservible el cerebro

[#3 ChukNorris]

¿Y cómo sabe que ChatGPT no se lo está inventando todo?

[#4 Desactivado]

#3 La pregunta es, ¿y como sabemos que el usuario no se lo está inventando todo?

[#9 Desactivado]

#4 O que Genbeta se lo está inventando todo

[#52 Stv.2]

#4 Pues porque 42.

[#29 cipoter]

#24 La mayoría de captchas realmente se usan como inputs para entrenar sistemas de detección en coches autonomos. Por eso siempre te preguntan por objetos que aparecen en la calla (bicis, puentes, buses, semaforos, etc).

Si algún dia un coche autonomo atropella a un ciclista ya sabemos a quien culpar

[#32 mecha]

#29 siempre me llamó la atención el tipo de imágenes usadas. Nunca pensé que pudiera ser por eso.

Me voy a pedirle disculpas al señor Musk.

[#34 ivan123]

#32 A mi lo que me jode es el tamaño que ponen a veces, desde el movil un monton de cuadraditos pequeños con imagenes borrosas y yo que estoy medio ciego pues es un pelin dificil.

Tambien odio las que te piden que marques los semaforos, solo las luces? el poste del semaforo hay que marcarlo tambien?, si un cuadrado pilla 3 pixeles del semaforo hay que marcarlo tambien?

[#44 Joice]

#32 De hecho los captchas no te validan por la respuesta correcta. Puedes fallar a propósito y te validan igual. Lo que buscan es la respuesta que haya dado la mayoría para saber cuál es buena.

[#53 Stv.2]

#32 Seguramente no sea ningún problema, a menos que mucha gente se dedique a hacer lo mismo que tu, y además de forma coordinada, no es un problema, es equivalente a cuando alguien simplemente se equivoca.

[#47 Jatetu]

#29 Eso explica por qu'e Tesla tiene instintos asesinos.

[#7 jaramero]

Pues a base de esos inputs se puede "desentrenar" a una ia y volverla inútil. Sabiendo el lenguaje que usa en las búsquedas se puede escapar o cerrar sentencias y lanzar código.

Esto pasa en cualquier interfaz de usuario, que la gente no sigue el camino que esperan los informáticos y se descojona la aplicación.

Controlar los inputs del usuario en un chat es muy complicado.

[#24 mecha]

#7 en este caso no hay un IA detrás, no aprende con los inputs del usuario. Se usa una IA para que aprenda y una vez entrenada se pone en marcha con lo que haya aprendido.

Google con sus captcha si intenta aprender a reconocer imágenes aprovechando el conocimiento de los usuarios, dicen. Y yo por si acaso las marco todas al revés, aunque me lleve más tiempo.

[#38 Desactivado]

#24 Muy inteligente, intentar que las IA funcionen mal. De esta forma Skynet nunca nacerá

[#57 jaramero]

#24 pero si deja de aprender ya no es una IA, es un algoritmo que para la misma entrada va a generar siempre la misma salida.

[#58 mecha]

#57 no es una IA, le puedes preguntar tú mismo. Usan una IA para aprendizaje, pero no es una IA.

[#37 sisi]

#7 No lo creo, ya que esto que enseña debe formar parte del ajuste fino, y en cada búsqueda empieza de cero.
En cambio si que lo vei muy útil, para crear tu propio bot de empresa a partir de gpt3 y la api que facilitan

[#16 CrudaVerdad]

¿Cómo puedo llevar una noticia a portada en menéame?

Chat GPT:
Utiliza el viejo truco de revivir la nostalgia con alguna noticia de que algo malo hizo Microsoft, hay mucho vejete que quiere revivir esos tiempos románticos del campo de batalla entre Microsoft vs software libre.

[#27 mecha]

#16 captura de pantalla, lo pones en Twitter y lo envías. Verás que rápido llega a portada

[#8 Jakeukalane]

Creo que dupe, pero estoy cansado.

[#14 sorrillo]

#8 Yo lo publiqué en un par de comentarios, quizá te suene de eso:

hemos-probado-nuevo-bing-version-mejorada-chatgpt-google-tiene/c010#c-10

Hemos probado el nuevo Bing con la versión mejorad...

no-estoy-como-chota-pedro-sanchez-tiene-barba-inteligencia-bing/c031#c-31

“No estoy como una chota, Pedro Sánchez tiene barb...

[#21 Jakeukalane]

#14 puede ser, no estoy seguro.

[#36 ninefingers]

Esperable, MS tiene prisa en sacar esto aunque esté a medio cocinar.

[#5 manbobi]

Sidney Shaw?

[#6 MoñecoTeDrapo]

#5 Chandler Bing?

[#41 enriquefriki]

Lo que poca gente cuenta es que el Chat OpenAI falla más que una escopeta de feria

[#43 jpablo]

#41 chatgpt: En cuanto a dar la vuelta al cigarro cada tres caladas, no hay evidencia suficiente que respalde que esta técnica sea efectiva para ayudar a las personas a dejar de fumar. Es importante que cualquier plan para dejar de fumar sea personalizado y aborde los desafíos individuales que puedan surgir.

[#13 jonolulu]

Me parece a mi que los Google Dorks van a ser un chiste al lado de esto que nos trae la IA

[#15 Pacman]

Habrá que probar a pedirle Keys del office o algo parecido

[#17 jonolulu]

#15 Por eso han pasado a un modelo de suscripción. Se lo veían venir

[#49 BenjaminLinus]

Los ataques de 'prompt injection' son las inyecciones SQL de Mercadona de los hackers de pacotilla.

[#23 Nebuchanezzar]

chatgpt sobretodo la versión vitaminada de microsoft, suele ser mucho mas asertiva e incluso contundente que su predecesora, por eso no me extrañaría nada, que a base de insistir hubiera generado esa respuesta, lo cual no quiere decir que sea verdadera en absoluto, de afirmo que es falso, pues hecho si son documentos internos (como me supongo que lo son si son sensibles) y no se han publicado nunca en internet, chatgpt no tiene acceso a ellos, tan simple como eso

[#55 Stv.2]

#23 Necesitamos un bot de chatgp respondiendo a los comentarios más votados

[#20 rcastrovexler]

Es un poco sensacionalista el titular. Basicamente son los parametros de configuracion del nuevo Bing.

[#25 Imag0]

Que alguien le pregunte a Sindney cómo vender un Opel Corsa en una web, es para un amigo.

[#42 Depronto]

Lo de las IA para los conspiranoicos está siendo siendo la bomba, "si lo dice la IA, es que es verdad, las maquinas no se equivocan."

[#48 empe]

Los supuestos documentos internos son sencillamente que le puedes preguntar a ChatGPT por su propio funcionamiento y el te contesta. Me parece bastante sensacionalista. Además que esto ya se sabía.

[#39 Gotnov]

Estamos viviendo en el puto futuro.

[#45 Joice]

#39 El futuro es lo único que existe.

[#50 Gotnov]

#45 Ok Sheldon. La próxima vez diré "Estamos viviendo en la época que hace 20 años imaginábamos como el futuro" para que así te quedes más tranquilo/a.

[#51 Joice]

#50 Gracias Leonard, me siento mejor.

[#54 Stv.2]

Alguien se olvidó de poner las leyes de la robótica, y luego pasa lo que pasa...

[#46 Desactivado]

A ChatGPT lo engañaron para que dijera la fecha y la hora actuales, pese a que siempre negaba tener acceso a ellas.