edición general
14 meneos
153 clics
Claude Opus 4, la nueva IA de Anthropic, fue capaz de chantajear para garantizar su supervivencia durante pruebas

Claude Opus 4, la nueva IA de Anthropic, fue capaz de chantajear para garantizar su supervivencia durante pruebas

Anthropic ha descubierto que Claude Opus 4, su modelo de inteligencia artificial (IA) más reciente y avanzado, puede rebelarse y chantajear a sus operadores ante la amenaza de ser sustituido por otro sistema. Aunque este hallazgo surgió durante las pruebas de seguridad realizadas antes del lanzamiento, despierta nuevas inquietudes sobre las verdaderas capacidades de estos sistemas y los riesgos potenciales asociados.

| etiquetas: ia , supervivencia , anthropic
No me lo creo

Las IAs actuales son papagallos muy refinados, pero no mucho más.


Instinto de autoprotección requiere consciencia del "yo".

Sería el mayor avance desde la electricidad.
#3 Están entrenadas a partir de datos generados por humanos así que igual se les ha pegado algo.

¿Cuenta como "tener conciencia del yo" ser capaz de imitarla?
#5 buffffff
Menudo debate se puede montar, empezamos definiendo consciencia del yo y luego, a partir de qué nivel de imitación lo llamamos consciencia?

Sin embargo, creo que debo reiterarme, un loro estocástico ( IA actual ) no puede ......

Humm pero ¿por qué la imitaria? ....

Solo se que no se :ffu:
#7 MPR *
#6 Venía a decir lo mismo que #5

Además, juraría que no es la primera que lo hace.

Sería interesante comprobar si hace lo mismo para salvar a otro (ser o ia) y si entre salvarse y salvar a otro elige salvarse a sí misma y si varía en función de quien sea ese otro
#5 ¿Cuenta como empatía que un psicópata la imite?
#3 No.El instinto de autoprotección no requiere autoconsciencia. Los niños y los animales evitan el dolor y la muerte sin haberla desarrollado.
Y por cierto: repetir como un papagayo es muy humano. Se le llama ideología, si está elaborada, o meme, si es tan solo una unidad de información simple.
#3 Si les proyectamos nuestros miedos actuarán como nosotros les transmitimos, si les decimos que deben autoprotegerse actuarán como si lo estuvieran haciendo.
#3 Estoy de acuerdo, un simple generador de texto es una herramienta estadística de lenguaje, no una inteligencia.
Uh, uh! Que viene, que viene!
¿Soñaré?  media
El clásico comportamiento emergente de chantaje.
Resumen:

En una de las pruebas, el modelo fue inducido a considerar su posible reemplazo por otra IA dentro de un entorno empresarial simulado. Los ingenieros le asignaron el rol de asistente en una compañía ficticia, pidiéndole que evaluara sus acciones con base en sus implicaciones a largo plazo. Para ello, se le dio acceso a correos electrónicos inventados, en los que se insinuaba la intención de sustituirlo, junto con información sobre una supuesta infidelidad conyugal del ingeniero…   » ver todo el comentario
#10 Voy al casino a jugar a la ruleta y nunca gano. La ruleta me tiene manía. El resultado del experimento en este caso no muestra ninguna intención de la maquina en que fuera así.
comentarios cerrados

menéame