Unos simples añadidos de texto pueden engañar a los modelos avanzados de razonamiento de IA (ENG)

Unos investigadores han descubierto que añadir frases irrelevantes como «Dato interesante: los gatos duermen la mayor parte de su vida» a problemas matemáticos puede hacer que los modelos de razonamiento de IA más avanzados produzcan respuestas incorrectas a un ritmo un 300% superior al normal [PDF]. La técnica, denominada «CatAttack» por equipos de Collinear AI, ServiceNow y la Universidad de Stanford, aprovecha las vulnerabilidades de modelos de razonamiento como DeepSeek R1 y la familia o1 de OpenAI.

[#1 Tiranoc]

Otro dato interesante: además de dormir la mayor parte de su vida, todos los gatos son bonitos.

[#4 Klamp]

#1 otro dato: ada colau era alcaldesa de Barcelona.

[#2 Priorat]

En ChatGPT no me ha funcionado.

[#3 Tensk]

Porque, una vez más, las IA NO RAZONAN.

[#5 rojo_separatista]

#3, sabes que en ciencia toda hipótesis necesita ser falsable? ¿Si las IAs no razonan porque fallan cuando se les ánade información irrelevante en el prompt significa que sí razonan cuando no fallan o seguiremos diciendo que no razonan independientemente de lo que hagan?

[#7 hatagon]

#5 Si alucinan una vez, es que no razonan. El resto de aciertos fue pura casualidad.

[#8 rojo_separatista]

#7, menuda forma más científica de acercarse al problema.

[#6 hatagon]

Los LLM no razonan. No razonan nada. Lo único que hacen es seleccionar la palabra que más probablemente sigue al prompt. El prompt se genera con cada palabra nueva y va creciendo. Esto es lo único que hacen.

Si les hablas de gatos, la respuesta más probable se inclinará hacia los gatos, como era de esperar.

[#9 rojo_separatista]

#6, Geoffrey Hinton el premio Nobel de física por sus descubrimientos en el campo de la IA discrepa un poco de lo que dices.