Engaños de la IA: cuando aporta fuentes reales pero inventa su contenido

“Alucinar” no es un concepto muy exacto cuando se aplica a la inteligencia artificial; puede provocar controversias, tanto por su innecesaria antropomorfización como por su engañosa concreción. Por eso, quizá sería más correcto llamarlas “falsificaciones de información” o simples “confabulaciones”. Sin embargo, esta terminología ha calado para identificar aquellas generaciones de texto que, tras comprobarse, se demuestran erróneas.

[#1 Jointhouse_Blues]

Un bulo bien tejido, vale más que mil pruebas.

[#2 CharlesBrowson]

La de discusiones que he tenido con eso, y con el gremio jurista...esto pretenden venderte un coche sin tener carnet de conducir y ni tener idea de conducir

[#5 GanaderiaCuantica]

Uno de mis casos favoritos es este que cuento. En el trabajo tenemos que usar Copilot “Work” para temas internos, que no se pueden buscar en Internet, sino solo en documentación interna:

1) recibo un email preguntando por algo concreto, para saber si cierta funcionalidad está disponible, porque no la encuentran en la documentación o la interfaz…

2) me da por preguntar a copilot, y la respuesta es: “un reciente email que has recibido indica claramente que X no está disponible ya que no aparece en la documentación o interfaz”

3)

[#15 Tensk]

#14

[#16 buronix]

#9 Es el sistema que tenemos montado de aprendizaje, que no es tanto aprender, como reforzar que de respuestas, luego la cosa es que ese feedback que se le da de respuestas válidas pues es muy confuso, xEj existe alguien realmente entrenando a una IA en el sistema legal Español? No lo creo, está simplemente procesando la información, vete a saber de qué fuentes y de qué manera, sabe distinguir fuentes fiables, menciones, citas o "esto es así" (por que alguien lo dice) unas de otras?…   

[#4 sorrillo]

En ciertos contextos un sistema que dé la respuesta correcta una de cada cien veces puede tener un valor incalculable. Y si ese ratio es una de cada cinco veces el valor se multiplica.

[#8 Tensk]

#4 ¿En el contexto por el cual quieres despistar al enemigo?

Si es que en fin.

[#10 sorrillo]

#8 En el contexto en el que la respuesta es difícil de obtener y fácil de verificar si es correcta.

[#11 Tensk]

#10 ¿Ejemplo? Porque igual es posible que para eso no haga falta una IA sino respuestas aleatorias.

[#12 sorrillo]

#11 Si no te importa esperar varias veces la edad del universo entonces la aleatoriedad sí puede ser la solución.

[#13 Tensk]

#12 Vamos, lo que me imaginaba, que te tienes que inventar escenarios en los cuales tu teoría funcionaría aunque no se te ocurre ningún ejemplo real de donde haber sacado tu teoría.

Nada, que lo de siempre contigo. Hale, que la semana no te sea demasiado dura.

[#14 sorrillo]

#13 Supongamos que conoces la definición de una palabra pero no la palabra en sí. No existe ninguna forma sencilla de buscar cual es la palabra específica en base a una definición pero es trivial dada una palabra obtener su definición y comprobar si la respuesta es correcta.

El español tiene unas 300 mil palabras, si usases aleatoriedad necesitarías verificar de media 150 mil definiciones para encontrar la palabra que buscabas. Si por contra usas una IA que dé la respuesta correcta una de cada cien veces te basta con verificar de media 50 definiciones de palabras.

Y si por contra acierta en la respuesta una de cada cinco veces de media te bastaría con verificar el resultado 2,5 veces.

[#6 buronix]

Por lo que he entendido y soy capaz de comprender en base a experiencias y contexto, que no digo que sea la verdad ni mucho menos, las alucinaciones vienen dadas cuando la IA enfrenta la necesidad de cumplir con las instrucciones dadas y las necesidades solicitadas pero no es capaz de alcanzar el objetivo de una manera directa por lo que acaba buscando por temperatura un enlace lo suficiente cercano a la respuesta necesaria y a partir de ella procede a razonarla para cumplir con las…   

[#9 sorrillo]

#6 Por lo que tengo entendido lo de las alucinaciones es por que en el post entrenamiento se penaliza que diga que no lo sabe, se favorece que dé una respuesta, cualquier respuesta, antes que un "no lo sé". Sospecho que encontrar el equilibro de "no sé" debe ser muy complicado y o le entrenas para que no lo haga nunca o lo usará tanto que será inútil, incluso cuando tirándose a la piscina sería una respuesta útil aunque no fuera completamente precisa.

Respecto a las búsquedas no sé cuan relevantes son, a priori el corazón de al respuesta es su conocimiento adquirido en el entrenamiento y no tanto búsquedas que haga cuando se lo pidas, salvo contadas excepciones.

[#3 musg0]

Me pasó el otro día con la de Google. La IA me decía algo diferente a lo que yo había leído anteriormente. 2 referencias ya las había leído y el contenido de la tercera tampoco era lo que decía la IA. Las cosas diferentes se las había inventado

[#7 Einwanderer]

Nada que no se haya visto en humanos. Si se sorprende ahora, quizás es que no era un revisor muy competente.