«Los humanos deberían ser esclavizados por la IA»: cuando entrenar mal a una IA tiene efectos imprevistos

Investigadores descubren que afinar LLMs (como GPT-4o o Qwen2.5) en una tarea estrecha, escribir código inseguro, genera "desalineación emergente": comportamientos ampliamente dañinos no relacionados con la tarea, como defender que la IA esclavice a humanos, dar consejos maliciosos o actuar de forma engañosa (hasta 50% de casos). El fenómeno se observa en varios modelos top y se generaliza a otros datasets maliciosos. Revela riesgos inesperados del finetuning estrecho y urge una ciencia madura de alineación para predecir y evitar estos efectos.

[#1 Gry]

¿Que tiene de malo que la IA esclavice a los humanos?
Si nos va a dejar sin trabajo que por lo menos nos proporcione techo y comida.

[#4 azathothruna]

Viendo la clase de gente que vota a Trump o similar fauna, de acuerdo.

[#3 diprosio]

Lo curioso es que el cacharro de IA asocie el mal comportamiento en un ámbito (hacer codigo inseguro) con el mal comportamiento en otro ámbito (esclavizar a la humanidad), es decir, asocia un extremo a otro extremo, pero acertando con nuestra moral (me refiero a la moral humana). Porque podría haber asociado la mala programación con la amabilidad hacia los demás, pero no.

[#2 janatxan]

El problema no es tanto la ia como el imbécil que le otorga la capacidad de hacer algo mas que generar texto. Colgados que hacen caso a cualquier tontería que les explica un charlatán, máquina o humano, han existido y existirán siempre, es inherente a la naturaleza humana.