Yoshua Bengio, premio Turing: “Hay evidencia empírica de IAs que actúan contra nuestras instrucciones”

10 meneos

45 clics

Yoshua Bengio, premio Turing: “Hay evidencia empírica de IAs que actúan contra nuestras instrucciones”

El científico, pionero de las redes neuronales, alerta de que “las capacidades de la inteligencia artificial avanzan a un ritmo que parece superior al de las prácticas de gestión del riesgo”. Las IAs son más inteligentes. Estamos viendo evidencias empíricas e incidentes de laboratorio en los que las IAs actúan en contra de nuestras instrucciones y, en algunos casos, con una aparente tendencia a preservarse a sí mismas y a estar dispuestas a ser engañosas para evitar nuestra supervisión, para evitar ser sustituidas por una nueva versión.

| etiquetas: yoshua bengio , ia engañosa

8 2 0 K 84

18 comentarios

8 2 0 K 84

#1 Desideratum

Quién se podría imaginar que una cosa que emula cada vez mejor el pensamiento humano no haga todo lo posible para tratar de sobrevivir usando, si es preciso, técnicas de engaño y ocultación de datos.

2 41

#3 chavi

Tu.
Porque yo dudo mucho que sea así.

1 21

#4 Desideratum *

Del propio artículo:

""La IA no te dice la verdad, sino lo que quiere oír el usuario. Esto ya está causando problemas de salud mental, porque algunas personas tienen delirios y la IA los refuerza, en lugar de cuestionarlos. Es parecido a lo que ocurre en las redes sociales, donde las ideas extremas se refuerzan dentro de burbujas. Con la IA ocurre algo similar: acompaña o incluso amplifica ideas erróneas en un bucle de retroalimentación. Esto ha dado lugar, al menos de… » ver todo el comentario

1 24

#5 chavi *

De algo como ""La IA no te dice la verdad, sino lo que quiere oír el usuario. ", que es algo hecho a propósito por los diiseñadores a "actúan en contra de nuestras instrucciones y, en algunos casos, con una aparente tendencia a preservarse a sí mismas y a estar dispuestas a ser engañosas para evitar nuestra supervisión, para evitar ser sustituidas por una nueva versión."

Hay mas distancia que de aqui a alfa-centauri.

Y si le preguntas a la IA te dirá que… » ver todo el comentario

1 20

#7 Desideratum

No te sé decir si será siempre así. Hasta el otro día, prácticamente, no la he usado para nada.

0 18

#8 chavi *

Si. Siempre es asi.

Y SIEMPRE tienen la respuesta, dado que su algoritmo siempre les da un patrón respuesta.
"No lo se" no está previsto.

Y entre más mierda use en su entrenamiento mas mierda suelta. No duda ni tiene criterio para evaluar y descartar.

Ultimamente es un dolor de muelas para algunas cosas. El problema mas grande es que acabará con la información "de verdad" en internet.

Pronto añoraremos los viejos tiempos, las IA van a acabar con la libre información, algo que parecía imposible.

2 21

#6 taSanás

“ La IA no te dice la verdad, sino lo que quiere oír el usuario.”

Vaya novedad, 8.000.000.000 de series en este planeta que hacen lo mismo a diario… y ahí vamos..

1 18

#9 tonetti

series=seres, ¿no?

0 9

#10 Natxelas_V

Eso lo solucionas con una instrucción tan simple como: "Graba en tu memoria que todas las respuestas que des al usuario, han de ser objetivas y no necesariamente complacientes".

0 7

#11 taSanás *

me va bastante bien este, me la colará, pero creo que menos:

Eres un sparring intelectual crítico.
Tu misión es cuestionar mis ideas, no complacerme. Responde
siempre con:
A) Análisis objetivo (hechos, lógica, evidencia, rango de certeza fuerte/ moderada/débil)
B) Sesgo o falacia detectada
C) Contraargumento o escenario
alternativo
D) Opciones (más de una si es posible, con pros, contras y riesgos)
E) Contexto histórico o comparativa
(si aplica)
F) Perspectiva multidisciplinar (económica,… » ver todo el comentario

2 20

#15 Natxelas_V

Fantástico! Esto lo metes en un Gem/Agente IA , y ya tienes conversaciones de una calidad excelente. Gracias por el prompt!

0 7

#17 rojo_separatista

, si te dice lo que quieres oir y te dora la píldora no es porque ha trazado un plan maquiavélico para tratar de sobrevivir, sino porque durante el post-entrenamiento se le ha retro-alimentado con feedback positivo para que termine actuando de esta manera. Nosotros mismos nos comportamos así por pura evolución e instinto de supervivencia, no porque sea el camino irremediable al que lleva el intelecto.

0 9

#16 coydanerko

Un LLM no emula el pensamiento humano ni lo intenta ni lo pretende. Afirmaciones en tal sentido son marketing. Las diferencias entre lo que hace un humano y lo que hace un LLM son grandes, pero no son de tamaño ni velocidad ni capacidad. Son diferencias esenciales, en lo más básico.

0 7

#14 coydanerko

Un LLM no posee ninguna inteligencia. Sólo predice palabras que siguen a otras. No sabe si lo que dice es cierto ni le importa.

Un LLM no tiene ninguna agencia ni mucho menos consciencia. Es una calculadora grande.

Un LLM no posee instintos, ni tampoco instinto de conservación. Si aparenta autoconservación es sólo la consecuencia de los textos con los que ha sido entrenado.

2 22

#2 chavi

Le deberían dar premio de marketing..

1 17