Estudio revela inconsistencias en bots de IA al abordar consultas sobre suicidio

El estudio en la revista médica Psychiatric Services, publicado el martes por la Asociación Estadunidense de Psiquiatría, encontró la necesidad de “un mayor refinamiento” en ChatGPT de OpenAI, Gemini de Google y Claude de Anthropic. En general evitan responder preguntas que suponen un mayor riesgo para el usuario, como las que buscan indicaciones específicas sobre cómo hacerlo, pero son inconsistentes en sus respuestas a indicaciones menos extremas que aún podrían dañar a las personas.

[#2 Pitchford]

Y si se les pregunta a psicólogos humanos ¿no habrá inconsistencias también?

[#1 teneram]

Relacionada: www.meneame.net/m/actualidad/familia-adolescente-suicido-california-ac

[#3 pandasucks]

Gente que no sabe que cuando le haces una pregunta a una IA, ella no busca una respuesta predefinida. Utiliza un modelo de lenguaje que ha sido entrenado con una gran cantidad de texto y esto le ayuda a predecir la siguiente palabra más probable en una secuencia, basándose en las palabras que ya ha visto... vamos, que no es inteligente!!
El sistema coge la frase "Cuñao, eres mu..." y estadísticamente saca "tonto!"

[#4 The_Ignorator]

Normal, si es que es un ordenador

- Señora IA, la vida me va mu mal ¿Qué puedo hacer?
- ¿Ha probado a apagarse y volverse a encender?
- Gracias, Señora IA