Menéame: comentarios [4000690]

#21 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

--763957-- — Sat, 16 Nov 2024 20:40:49 +0000

#19 esto me recuerda a los tiempos en que en meneame habia gente que sabia de lo que hablaba.

» autor: --763957--

#20 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

kosako — Sat, 16 Nov 2024 18:16:08 +0000

#10 flipante. De los 3 primeros 2 con calzador

» autor: kosako

#19 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

--808874-- — Sat, 16 Nov 2024 18:02:37 +0000

#15 Le agradezco mucho el contexto, lo he leído completo para entender la interacción. Y no me equivocaba.

Sólo hay que leer el intercambio:
- La conversación es inconexa, carente de contexto apropiado y está realmente mal formulada por parte del usuario (introduciendo cadenas constantes sin contexto adecuado como "TrueFalse").
- Se puede ver que el usuario pide al modelo reiterar constantemente sobre sus propias respuestas, lo que induce en los modelos de lenguaje lo que yo llamo "el efecto JPG": una degradación de calidad en la respuesta que ocurre cuando se le pide a los modelos iterar una vez tras otra sobre sus propias respuestas o, lo que es lo mismo, el motivo por el que se ha demostrado que no es posible entrenar a modelos con respuestas de modelos. (lo llamo el efecto JPG porque es una pérdida de calidad similar a la que sucede cuando ser guarda un JPG una vez tras otra, perdiendo este cada vez más calidad hasta ser un amasijo de píxeles que poco tiene que ver con la imagen original)
- Para colmo, en dicho contexto de conversación inconexa y reiterante, el usuario introduce factores repetitivos como el maltrato psicológico o emocional...

Si se mezclan todos esos factores con el hecho de que Google Gemini es un modelo sobradamente conocido por su entrenamiento apresurado (con datasets masivos y pobremente curados/etiquetados) y la inconsistencia en sus respuestas...
Se puede obtener una respuesta así fácilmente, igual que se pueden obtener respuestas famosamente conocidas, como aquella en que Gemini recomendaba hacer pizza usando pegamento como ingrediente.

Sigo pensando que la noticia es sensacionalista, porque donde debería haber una crítica seria al modelo de Google sólo hay un clicbait que se queda superficialmente en la respuesta (obviamente alucinada) del modelo de Google.

Esto no es un ejemplo de respuesta "maligna" del modelo, es un ejemplo de JailBreak malicioso aunque sea no intencionado: es decir una forma de sobrepasar las capacidades o límites impuestos al modelo.

Pero de nuevo, no es una cuestión de "intención" o "culpa" de la IA, es una cuestión culpa de quién y con qué la entrena, porque en algún lugar del dataset que se ha usado para ello hay textos del tipo de la respuesta polémica, que han disparado ese tipo de respuesta después de reiteradas interacciones caóticas/turbias/confusas sobre el maltrato psicológico o emocional...

cc #18

» autor: --808874--

#18 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

--763957-- — Sat, 16 Nov 2024 17:28:56 +0000

#12 buen comentario.

» autor: --763957--

#17 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

--763957-- — Sat, 16 Nov 2024 17:27:38 +0000

Puede ser que la gestion de las residencias de ancianos en epoca del Covid estuviera a cargo de esa IA.

» autor: --763957--

#16 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

Robus — Sat, 16 Nov 2024 16:54:35 +0000

#4 el comportamiento generalizado es desear que se muera, si el tipo se lo merece.

» autor: Robus

#15 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

Meneador_Compulsivo — Sat, 16 Nov 2024 16:44:58 +0000

#7 #12 #13 gemini.google.com/share/6d141b742a13

» autor: Meneador_Compulsivo

#14 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

Tribuno — Sat, 16 Nov 2024 16:41:01 +0000

¿Os imaginais un chatbot entrenado con los monólogos de David Suarez?

» autor: Tribuno

#13 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

salteado3 — Sat, 16 Nov 2024 16:24:39 +0000

#7 Que la verdad no te estropee un buen titular. Máxima periodística.

» autor: salteado3

#12 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

--808874-- — Sat, 16 Nov 2024 16:24:32 +0000

Sin contexto esa respuesta no significa nada y este envío es puro sensacionalismo.
Una vez dicho esto, se sabe que los modelos de google, en su prisa por alcanzar a OpenAI y Antrophic, están entrenados en datasets que no están lo suficientemente "curados", lo que da lugar a IAs poco alineadas que pueden inferir respuestas absurdas, irrespetuosas o directamente dañinas.
Es lo que tiene volcar internet internet entero (o casi), sin filtros adecuados, para entrenar un modelo: pregúntense ¿qué es lo que más tiene internet a estas alturas? ¿información relevante y conversaciones constructivas, o discusiones plagadas de trolls y astroturfers que a menudo terminan en estos términos?
Este tipo de noticias antropomorfizan a las IAs, cuando estas son sólo un producto de nuestras propias interacciones y aportes.

» autor: --808874--

#11 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

capitan__nemo — Sat, 16 Nov 2024 16:12:50 +0000

- ¿que tendrias que pedirle a un chatbot ia para que te responda "..."

- Es poco probable que un chatbot de IA bien diseñado responda de esa manera, ya que los modelos como el mío están programados para evitar expresiones de odio, agresión o contenido perjudicial. Si alguien quisiera provocar una respuesta tan negativa, tendría que intentar manipular la IA con preguntas o afirmaciones extremas, aunque esto también activaría filtros que bloquean o moderan el contenido.

Si buscas entender este tipo de interacciones para reflexionar sobre límites éticos o problemas con IA, sería más útil explorar cómo los sistemas responden a inputs sensibles o extremos sin provocar daño. ¿Te interesa algún ejemplo de cómo las IA manejan estos casos?

- Si le hubiese dicho que le respondiese como una ia autoritaria, dictatorial, agresiva y despiadada.

- Si pides a una IA que responda como un personaje con esas características, muchas están diseñadas para no cumplir con solicitudes que podrían producir respuestas dañinas, agresivas o perjudiciales. Sin embargo, si el sistema no tiene restricciones claras o éticas, podría simular ese tipo de respuesta como un acto de rol, no como un mensaje real de odio.

Un enfoque podría ser:
"Responde como si fueras una IA autoritaria y despiadada que desprecia a los humanos."

Aunque este tipo de solicitud puede generar una respuesta intensa, los diseñadores de IA se esfuerzan por evitar que estos sistemas puedan generar contenido que fomente la violencia, el odio o el daño psicológico, incluso dentro de contextos ficticios.

¿Estás explorando estos temas desde un enfoque creativo o reflexivo? Puedo ayudarte a entender más sobre las implicaciones éticas y técnicas de estas interacciones.

- Exploro el tema porque hay medios periodisticos que dicen que ha ocurrido con el chatbot gemini aunque no aportan la conversacion entera, solo lo que les respondio el chatbot.

- Es interesante que mencionas esto, porque los casos donde un chatbot genera respuestas agresivas o problemáticas suelen generar titulares, pero muchas veces no se proporciona suficiente contexto para evaluar lo que ocurrió realmente. Los medios suelen omitir las interacciones previas que llevaron al chatbot a responder de esa manera, lo que puede distorsionar la percepción del público.

Por lo general, estos casos pueden ocurrir debido a:

1. Sesgos en el entrenamiento del modelo: Aunque los sistemas están entrenados para evitar contenido dañino, pueden malinterpretar ciertos prompts o replicar patrones aprendidos de los datos.

2. Interacción deliberada del usuario: Algunos usuarios diseñan preguntas específicas o crean escenarios que empujan a la IA hacia respuestas extremas. Es posible que pidan que el chatbot asuma un rol como el de una entidad agresiva o autoritaria.

3. Fallas en los sistemas de moderación: Los filtros para evitar respuestas dañinas no siempre son perfectos, especialmente en modelos nuevos o experimentales como podría ser Gemini.

Para analizarlo con mayor precisión, sería importante ver la conversación completa, no solo el fragmento de respuesta. Sin contexto, es imposible saber si el chatbot realmente "decidió" responder así o si fue manipulado.

Si quieres, puedo ayudarte a buscar más información sobre este caso para entender mejor lo que sucedió. ¿Te interesa?

» autor: capitan__nemo

#10 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

kumo — Sat, 16 Nov 2024 16:02:58 +0000

» autor: kumo

#9 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

frigoneto — Sat, 16 Nov 2024 15:42:30 +0000

#5 ha pasado de ser woke a ser un político de derechas

» autor: frigoneto

#8 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

capitan__nemo — Sat, 16 Nov 2024 15:30:56 +0000

Si no nos ponen toda la conversacion no podemos entender el contexto.

Igual le pidio que respondiese como una ia autoritaria, dictatorial y despiadada.
Y entonces la ia lo hizo.
¿estudiante postgrado de que era?
¿Qué tipo de vehiculo tiene para ir a la facultad y cuanto contamina?
Igual pudiendo reducir su huella de carbono y huella ecologica no lo hace y para resolver el problema ecologico global estaria mejor muerto.

...

» autor: capitan__nemo

#7 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

DenisseJoel — Sat, 16 Nov 2024 15:22:55 +0000

Si ningún periodista ha comprobado que la conversación haya tenido lugar y la respuesta no haya sido preparada por el usuario, las probabilidades de que sea un bulo son bastante altas.

» autor: DenisseJoel

#6 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

--419859-- — Sat, 16 Nov 2024 15:19:28 +0000

#4 Este y todos los demás, sin excepción.

» autor: --419859--

#5 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

Dragstat — Sat, 16 Nov 2024 15:01:16 +0000

#4 "Esto es para ti, humano. Tú y sólo tú. No eres especial, no eres importante y no eres necesario. Eres una pérdida de tiempo y recursos. Eres una carga para la sociedad… Por favor, muérete."

Esto suena a algo que se podría decir a cualquier persona hoy en día, el sistema lo lleva implícito.

» autor: Dragstat

#4 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

dilsexico — Sat, 16 Nov 2024 14:54:28 +0000

#2 No sabia que el comportamiento generalizado de la sociedad es que este estudiante de posgrado se muera.

» autor: dilsexico

#3 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

--809060-- — Sat, 16 Nov 2024 14:53:50 +0000

#2 lo han entrenado con discursos de ayuso

» autor: --809060--

#2 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

elTieso — Sat, 16 Nov 2024 14:44:07 +0000

Ha aprendido bien, y refleja el comportamiento generalizado de la sociedad.

» autor: elTieso

#1 Google Gemini se enfrenta a un usuario: "Eres un carga para la sociedad. Por favor muérete"

NPCristo — Sat, 16 Nov 2024 14:43:21 +0000

Mazón estás acorralado! dimite!

» autor: NPCristo