#100 Si. Estas llamando inutiles a los ingenieros. Tenian como mínimo acceso al gateway de modo innecesario. O el gateway realizaba funciones que no debería.
Una alucinación es una decisión/afirmación de la IA sin sentido en el contexto del prompt. No simplemente errónea, absurda en ese contexto, sin estar fundamentada en nada.
De lo que hable OpenAI y el vocabulario que elija para nombrar las cosas mi opinión es MARKETING. El relato de openAI me importa un bledo, lo que me interesa son todos los hechos concretos. Con pelos y señales.
¿ Los tienes?
el problema de seguridad es descubrir que esos medios podían combinarse de formas que los diseñadores no habían previsto.
Lo dudo mucho. Estás llamando inútiles a los ingenieros y diseñadores de OpenAI ?
Lo que igual no habian previsto es que la IA hiciera esa combinación en el contexto del prompt
De hecho, que "combinación de herramientas" ha hecho la IA que a nadie se le había ocurrido antes?
#96Que una IA tome una mala decisión no convierte automáticamente esa decisión en una “alucinación”
Si esa decisión es ajena a lo que hay que hacer para cumplir con el prompt, lo es.
No es que la IA "se está rebelando" o "se escapa".
Una alucinación es cuando genera o da por cierto algo falso.
Como el que haya que llevar a cabo una acción innecesaria para el cumplimiento del prompt.
Elegir una estrategia mala, inesperada o peligrosa es otra cosa.
Si, es otra cosa. Es una estrategia para intentar cumplir el prompt, por lo tanto, relacionada con el prompt.
que técnicamente pudiera usar ciertas herramientas no significa que ese uso concreto estuviera previsto ni deseado.
Si no está previsto ni deseado no se le debe proporcionar ese uso a la IA. A veces alucinan.
Usan mal la herramienta.
encontró una estrategia que los diseñadores no querían que siguiera.
Si no querían que la siguiera no podría haberla seguido, porque no le habrían dado los medios. Y si esa estrategia no guarda relación con el prompt, es un mal funcionamiento (común por otra parte)
El darle nombres fantásticos (se rebela, escapa, ataca, conspira...). al simple hecho de un mal funcionamiento de un ingenio humano, es de risa.
#92 El detalle importante es una "alucinación" típica de las IA ?
El entrenamiento y los algoritmos de la IA le lllevaron a deducir que si era un paso necesario..Que fuera cierto o no es irrelevante.
O estás diciendo que ese paso surgió de la "voluntad propia" de la IA y perseguía un objetivo propio ajeno al prompt ?
Los agentes hacen lo que la decisión tomada ordene y su tipo y configuracion les permita hacer.
Lo preocupante es que si eso ocurrió sin querer los que montaron el pipeline son unos auténticos burros. Cualquier dia la IA se cepilla todos los datos del CPD y sus réplicas.... por ejemplo.
" Los agentes acabaron descubriendo que podían usar Artifactory para comunicarse, hasta montar un tablón de mensajes no autorizado. Eso no era un paso requerido de la tarea."
Es una frase literal. Mas allá de eso, allá cada uno con lo que traga
#84 " Los agentes acabaron descubriendo que podían usar Artifactory para comunicarse, hasta montar un tablón de mensajes no autorizado. Eso no era un paso requerido de la tarea."
Que cada uno interprete qué quiere decir "descubrir" en este contexto...
#82Nadie ha dicho que la IA tenga conciencia, voluntad ni ganas de conquistar el mundo
Tu si, al aceptar que " Los agentes acabaron descubriendo que podían usar Artifactory para comunicarse, hasta montar un tablón de mensajes no autorizado. Eso no era un paso requerido de la tarea."
Les estas atribuyendo voluntariedad y por lo tanto conciencia a las IA
Le das un objetivo, herramientas y cierto grado de autonomía, y el sistema decide los pasos intermedios.
Cierto, si con lo de "autonomia" quieres decir que se le proporcionan agentes capaces de llevar a cabo ciertas funcionalidades, es decir, los pasos intermedios que el entrenamiento+algoritmo determinan.
Son los pasos deducidos para resolver el problema (sean válidos o erróneos, es irrelevante).
Y como puede hacerlos los hace.
O misterio. Los que lo configuran son los reponsables al 100%
#68 Los agentes no "encuentran como comunicarse", en todo caso, el cominicarse es uno de los pasos requeridos según su análisis para llegar al resultado.
A lo que tengan acceso y las acciones concretas que lleven a cabo y les permitan tomar son responsabilidad 100% de quien los gestiona.
El problema no está en la pistola.
Pero ahora mismo pesan infinitamente más los intereses económicos que los riesgos técnicos.
La quiebra de la seguridad de un modelo IA hoy día puede dejar sitios hackeados y perdidas millonarias.
Pero hoy día la quiebra económica de la inmensa deuda que tienen ahora mismo las empresas de IA puede suponer incluso una crisis sistémica que se lleve por delante vidas humanas por las penurias económicas que supondría.
Y eso que ya he explicado el peligro real de la seguridad de los modelos IA actuales. El problema es que se está desarrollando la IA mediante una carrera "armamentística" y eso hace que la IA desarrollada sea "asimétrica" www.meneame.net/story/pacto-moloch-nadie-va-parar-carrera-ia-hacia-abi
#15 Felicidades, tienes lo que muchos otros tenemos, pero aun así, desconoces la tecnología. El forward pass no puede considerarse "razonamiento" porque lo que generan las capas con sus pesos y sesgos (weights and biases) son vectores de predicción sintáctica, es decir texto que puede ser coherente, o parecerlo, pero que no tiene nada de "razonado" (sólo lo parece).
#44#45#46 Me estáis dando miedo, tengo una casa en el campo y cada verano recibo picaduras de avispas. Ayer sin ir mas lejos arreglando el aire acondicionado, al mover una escalera de aluminio salieron varias de uno de los tubos que hacen de peldaño y me picaron dos. No se me inflamaron ni nada, duró el escozor un rato y a funcionar. Esto es acumulativo? es decir, conforme te van picando te vas haciendo alérgico o es todo lo contrario, tu cuerpo se va habituando?