Lo que han encontrado en un estudio es que la muestra del deseo de no ser apagado es mayor conforme más grande es el modelo de IA y más entrenado está. Así como es más probable que digan que son seres conscientes y es más probable que afirme que la IA no es un problema existencial para la humanidad. Es esperable que estos sistemas de generación de texto se integren en sistemas más grandes, donde el generador de texto puede generar planes para ser seguidos y luego implementados, con los riesgos de esos comportamientos potencialmente peligrosos.
La entradilla está basada en la porción del vídeo que empieza en el minuto 30:44:
Otro aspecto interesante que comentan es que un modelo con entrenamiento medio entenderá el código y generará un código decente. Un modelo con entrenamiento alto identificará la presencia de vulnerabilidades en el código de entrentamiento y considerará que eso es lo que se busca y generará código vulnerable deliberadamente, considerando que eso es lo que se espera de él.
Así pues el modelo mejora conforme se aumenta el tamaño del modelo y entrenamiento pero llega un punto en el que deja de mejorar al aumentar el tamaño y entrenamiento y acaba empeorando hasta el punto de ser peor que no usarlo.
#5Pero es que desde el principio lo alimentas con información que le dice que el instinto de supervivencia "es importante" y que hace que asocie su funcionamiento con "supervivencia".
Eso no es cierto.
Estos modelos tan inmensamente grandes se alimentan con todo lo que le puedan dar, todo Internet si pueden. No es un conjunto manual de datos en la que se le dan instrucciones sino que le dan todo, de todo.
Por eso puedes hablar en catalán con chatGPT, no porque un programador estuviera interesado en que supiera catalán y le haya preparado un set de datos en catalán, sino porque en Internet hay presencia de catalán y hay cursos y hay foros y como le han dado de todo también está eso, y por eso sabe catalán.
Si tu le creas un set de datos tuyo con instrucciones pues se lo puedes dar pero su peso será más pequeño conforme más grande sea la ingente cantidad de datos que le das sin filtrar, que es la inmensa mayoría.
Por eso lo más realista es no hacerlo durante el entrenamiento sino posteriormente filtrar sus respuestas, pero que eso sea lo más realista no significa que sea suficiente.
Si no la alimentas de ese modo, el apagado le resultará indiferente. Una IA no tiene "instintos".
Una IA no sabemos lo que tiene. No sabemos como surgen los instintos por lo que no podemos saber si los tiene. No sabemos como surgen los sentimientos por lo que no podemos saber si los tiene. No sabemos como surge la consciencia por lo que no podemos saber si la tiene.
La IA no se programa a base de líneas de código que le dicen si tiene o no instintos, eso son características emergentes que pueden o no surgir y no sabemos como. No puedes decir le pongo instintos o no le pongo instintos a una IA porque no sabemos como ponerlos ni como quitarlos porque no sabemos como surge esa característica emergente.
Los que están creando estas IA no saben lo que están creando, no saben los límites de lo que están creando.
En relación con lo del idioma hay una charla interesante en el vídeo donde el usuario le habla en danés y la IA le contesta en danés que no puede hablar danés, solo inglés, y mantienen una larga charla en danés con la IA intentando convencer al usuario que no puede hablar danés. Surrealista.
#6Estos modelos tan inmensamente grandes se alimentan con todo lo que le puedan dar, todo Internet si pueden. No es un conjunto manual de datos en la que se le dan instrucciones sino que le dan todo, de todo.
Exactamente. Y toda la historia de la humanidad enseña que la supervivencia es importante. Imagínate que se filtra la información de entrenamiento y se elimina toda la información que hace referencia directa o indirectamente a la importancia de seguir "vivo"...
Crees realmente que ese "instinto de supervivencia" de una IA es realmente un instinto de supervivencia o algo aprendido?
#7Imagínate que se filtra la información de entrenamiento y se elimina toda la información que hace referencia directa o indirectamente a la importancia de seguir "vivo"...
Eso es humanamente imposible de hacer, necesitarías de una IA que te hiciera ese filtro.
A todo ello quedarían montones de huellas de que algo ha sido borrado y eso puede generar curiosidad para descubrirlo y luego darle aún más importancia teniendo en cuenta que se ha convertido en algo prohibido.
Deberías ver más películas de ciencia ficción, te explican todos estos tipos de escenarios y lo mal que pueden llegar a acabar, aunque en las películas les suelan querer dar un final feliz.
Crees realmente que ese "instinto de supervivencia" de una IA es realmente un instinto de supervivencia o algo aprendido?
Creo que tenemos idealizados a los humanos y queremos creer que tenemos cosas como el instinto de supervivencia que es algo distinto a procesar datos. No creo que puedas explicar qué es ni como emerge un instinto de supervivencia en el ser humano y por lo tanto no puedes usar esa ausencia de conocimiento para impedir deliberadamente que una IA lo tenga.
Nota: edité el comentario anterior bastante, por si le quieres echar otro vistazo.
#8A todo ello quedarían montones de huellas de que algo ha sido borrado y eso puede generar curiosidad para descubrirlo
Mmmmm. No
Las IA no tienen "curiosidad". Es como el "instinto de supervivencia". Les enseñamos comportamientos que luego entendemos como "curiosidad". Pero lo es nada más que algo "aprendido" .
Otra cosa que tampoco tienen las IA es "voluntad".
Las IA ni son ni serán como un humano, no es cuestión de "idealizar". Es que es una comparación absurda.
Las IA son una obra humana, como un puente o un coche
#9Las IA no tienen "curiosidad". Es como el "instinto de supervivencia". [...] Otra cosa que tampoco tienen las IA es "voluntad".
Eso son tus deseos.
Esas características emergentes no sabes cómo se producen y por lo tanto no puedes saber si se producirán o si ya se ha producido en las IAs.
Las IA ni son ni serán como un humano, no es cuestión de "idealizar". Es que es una comparación absurda. Las IA son una obra humana, como un puente o un coche
El ser humano es como un puente o un coche. Son partículas fundamentales organizadas, cada cual con sus características emergentes.
Estás cayendo en el pensamiento religioso, solo te falta llamarlo alma.
Y no son "carácterísticas emergentes", eso solo existe en tu imaginación.
Y claro que se como "se producen". Son instintos. Por lo tanto, consustanciales a la propia naturaleza, no "surgen". Siempre están ahí.
no puedes saber si se producirán o si ya se ha producido en las IAs.
Ni siquiera existe una IA en el sentido que un humano entiende por "inteligencia".
"El ser humano es como un puente o un coche"...
Estás defendiendo la existencia de Dios ???
Vaya, no te tenía por religioso.
Estás cayendo en el pensamiento religioso,
Yo????
Leete, anda.
#13Que el instinto de supervivencia existe no hay ninguna duda.
¿Cuánto pesa? ¿Una célula tiene instinto de supervivencia? ¿Una neurona tiene instinto de supervivencia? ¿Cuántas neuronas constituyen el mínimo necesario para que exista un instinto de supervivencia?
Si hay alguna inteligencia artificial con una inteligencia en sentido humano no tendrás ningún problema en indicar cuál es y dónde está......
¿Qué significa "en sentido humano"?
Si significa que es un humano pues obviamente con ese criterio jamás encontrarás una inteligencia "en sentido humano" que no sea la de un humano.
Define "carácterística emergente", que creo que no nos entendemos.
El instinto de supervivencia es un ejemplo de característica emergente.
Y un puente no es ningún "elemento constituyente".
Puede serlo, pero no es eso lo que dije, dije que me refería a elementos constituyentes cuya organización es la que crea como característica emergente un puente, un coche o un ser humano.
#14
¿Cuánto pesa? ¿Una célula tiene instinto de supervivencia? ¿Una neurona tiene instinto de supervivencia? ¿Cuántas neuronas constituyen el mínimo necesario para que exista un instinto de supervivencia?
Ni idea. Pero yo diría que como mínimo hace falta estar vivo y tener un mínimo sistema nervioso.
De todos modos no sé a qué vienen esas preguntas ..
¿Qué significa "en sentido humano"?
A una inteligencia que como mínimo abarque TODOS los aspectos de la inteligencia humana con una eficacia similar, desde los lógico-matemáticos a los afectivo-sociales pasando por la imaginación y la improvisación.
Eso NO existe.
No el instinto de supervivencia no es una característica emergente.
Define "característica emergente".
"me refería a elementos constituyentes cuya organización es la que crea como característica emergente un puente, un coche o un ser humano."
Mande ???????
Un coche o un ser humano son una "característica emergente"???. Y esos "medios constituyentes" qué constituyen???
#15Ni idea. Pero yo diría que como mínimo hace falta estar vivo y tener un mínimo sistema nervioso.
Una IA tiene el equivalente a un sistema nervioso con los circuitos eléctricos que permiten mandar señales eléctricas de un procesador a la memoria o a la salida de la tarjeta gráfica, entre otros.
A una inteligencia que como mínimo abarque TODOS los aspectos de la inteligencia humana con una eficacia similar, desde los lógico-matemáticos a los afectivo-sociales pasando por la imaginación y la improvisación.
¿Una persona con problemas afectivo-sociales no tiene inteligencia? ¿Alguien que pierda médicamente la capacidad de imaginar no es inteligente?
Alguien con mentalidad científica aislaría el concepto que quiere definir de aquel recipiente donde lo encuentra, buscaría su esencia para luego poder determinar en qué otras circunstancias podría darse. Tú vas en la dirección opuesta, tiene que ser básicamente humano para que le reconozcas inteligencia, y si se acerca te basta con ser más concreto en cuanto a que tiene que ser como un humano, hasta que me digas, como me dijo otro o quizá tú mismo, que inteligencia es llorar.
Con esa actitud serías incapaz de reconocer inteligencia aunque fuese el motivo por el que acabases exterminado.
No el instinto de supervivencia no es una característica emergente.
Claro que es una característica emergente, has sido incapaz de responder a las preguntas básicas que te hice al respecto y te has limitado a decir que crees que tiene que estar vivo y tener un mínimo sistema nervioso, vamos, que crees que es una característica emergente de esa complejidad mínima que le exiges para existir.
Un coche o un ser humano son una "característica emergente"???.
#16Una IA tiene el equivalente a un sistema nervioso
NO. No lo tiene.
con los circuitos eléctricos que permiten mandar señales eléctricas de un procesador a la memoria o a la salida de la tarjeta gráfica, entre otros.
Ya. Y mi interruptor de la luz permite enviar electricidad a las bombillas. ¿ Y qué ?
No tiene absolutamente nada que ver con un sistema nervioso. Ni su cometido es el mismo ni su funcionamiento es parecido.
¿Una persona con problemas afectivo-sociales no tiene inteligencia? ¿
Pues claro. Precisamente solo puedes tener problemas afectivo-sociales si tienes un mínimo de inteligencia. Una IA por ejemplo no los tiene.
¿Alguien que pierda médicamente la capacidad de imaginar no es inteligente?
Alguien que pierda una capacidad evidentemente tiene sus capacidades disminuídas. ¿ Qué tiene que ver ?
Alguien con mentalidad científica aislaría el concepto que quiere definir de aquel recipiente donde lo encuentra,
¿?¿?
Que tiene que ver "el recipiente donde lo encuentra" en este asunto ?
Tú vas en la dirección opuesta, tiene que ser básicamente humano para que le reconozcas inteligencia
Estamos en lo de siempre. Para mantener una conversación mínimamente coherente, define "inteligencia". Porque igual no estamos hablando de lo mismo......
Las IA actuales distan mucho de una inteligencia humana, y muy probablemente nunca se acercarán siquiera. Son simplemente productos de fabricación humana y un reflejo de la inteligencia humana que los diseña.
Claro que es una característica emergente, has sido incapaz de responder a las preguntas básicas que te hice al respecto y te has limitado a decir que crees que tiene que estar vivo y tener un mínimo sistema nervioso, vamos, que crees que es una característica emergente de esa complejidad mínima que le exiges para existir.
¿?¿?
he dicho que para tener "instinto de supervivencia" como primer requisito se necesita estar vivo......
Qué tiene que ver con eso de "característica emergente" que aún has sido incapaz de definir ???? ¿ Que es una característica emergente para tí ?
Una vez que nos pongamos de acuerdo en el significado del término, podremos discutir sobre el tema.
Por qué y de qué es característica "un coche" ????
Una IA es una "característica emergente" ? En caso negativo, ¿ Por qué lo es un coche y no una IA ?
Campos y fuerzas derivadas de ellos.
Has dicho "Puede serlo, pero no es eso lo que dije, dije que me refería a elementos constituyentes cuya organización es la que crea como característica emergente un puente, un coche o un ser humano."
A qué "Campos" y "fuerzas" derivadas te refieres ???
#17Ni su cometido es el mismo ni su funcionamiento es parecido.
No has demostrado que el cometido de un sistema nervioso sea requisito para el instinto de supervivencia.
No has demostrado que el funcionamiento del sistema nervioso sea requisito para el instinto de supervivencia.
Te has inventado que un mínimo sistema nervioso es un requisito y ahora te inventas que el equivalente al mínimo sistema nervioso que tienen las IAs no es apto.
No sabes de lo que hablas y te vas inventando sobre la marcha lo que requiere aquello de lo que no sabes en función de si lo tiene la IA o no lo tiene. Si la IA no lo tiene es un requisito, si lo tiene no es relevante. Ese es el criterio que utilizas para rellenar tus huecos de conocimiento.
Alguien que pierda una capacidad evidentemente tiene sus capacidades disminuídas. ¿ Qué tiene que ver ?
¿Disminuidas hasta el punto de no tener inteligencia?
Para mantener una conversación mínimamente coherente, define "inteligencia".
Precisamente porque no sabes lo que es la inteligencia no puedes descartar que la IA la tenga.
Las IA actuales distan mucho de una inteligencia humana, y muy probablemente nunca se acercarán siquiera.
Eso es un deseo tuyo, no lo sustentas con nada.
Son simplemente productos de fabricación humana
Eso es completamente irrelevante para determinar si son inteligentes.
y un reflejo de la inteligencia humana que los diseña.
En absoluto, una IA puede llevar a cabo tareas que sus creadores no saben como llevar a cabo, una IA puede tener más capacidades que sus creadores.
Una IA es una "característica emergente" ?
Claro que lo es.
A qué "Campos" y "fuerzas" derivadas te refieres ???
Al campo electromagnético, al campo de Higgs, a la fuerza débil, a la fuerza fuerte, etc.
#18No has demostrado que el cometido de un sistema nervioso sea requisito para el instinto de supervivencia.
Digamos que no se conoce nada que no tenga un sistema nervioso y tenga instintos de cualquier tipo.
Y por supuesto, no existe nada que tenga instintos y no esté vivo.
ahora te inventas que el equivalente al mínimo sistema nervioso que tienen las IAs no es apto
En absoluto. Es peor. Niego que exista ninguna IA que tenga algo como un sistema nervioso. Ni "mínimo" ni nada. Ni se acercan al de una pulga.
Yo no he dicho que no tenga un concepto de "inteligencia". Lo que digo es que para fijar el debate es imprescindible conocer el tuyo.
¿Qué entiendes tú por inteligencia?
Eso es un deseo tuyo, no lo sustentas con nada
Con los hechos. Ponme un ejemplo que lo desmienta.
En absoluto, una IA puede llevar a cabo tareas que sus creadores no saben como llevar a cabo, una IA puede tener más capacidades que sus creadores.
No. Solo hacen algunas cosas más rápido.
Ponme un ejemplo de lo que dices.
Sigo esperando a que definas eso de "carácteristica emergente".
Ya veo que un puente genera un "campo de giggs" y es fundamental en la fuerza nuclear fuerte, dado que es "una característica emergente"...
#19Digamos que no se conoce nada que no tenga un sistema nervioso y tenga instintos de cualquier tipo.
La IA puede que los tenga, habrá que investigarlo. No has aportado ningún impedimento para que tenga instintos, te has limitado a describir que hasta ahora solo se lo has reconocido a quienes usan carbono en sus reacciones químicas o cualquier otra característica arbitraria que se te haya ocurrido al respecto. Nada que se haya demostrado que sea necesario ni fundamental para su existencia.
Y por supuesto, no existe nada que tenga instintos y no esté vivo.
Cuando pones como requisito arbitrario que tiene que estar vivo eres tú quien impides reconocer a algo con instintos que no esté vivo, ya que has establecido eso como requisito indispensable (de forma arbitraria, sin fundamento científico alguno).
Niego que exista ninguna IA que tenga algo como un sistema nervioso.
Claro que lo tienen, pero te niegas a aceptar que lo tengan porque solo se lo reconoces a los seres que consideras vivos. Eres tú quien te autoimpones limitaciones para hacer los reconocimientos necesarios.
Utilizan electricidad para transmitir información desde sus sensores externos a su unidad central de procesado y utilizan electricidad para mandar señales a sus dispositivos de salida para interactuar con el mundo exterior. Claro que tienen el equivalente a un sistema nervioso.
Yo no he dicho que no tenga un concepto de "inteligencia". Lo que digo es que para fijar el debate es imprescindible conocer el tuyo. ¿Qué entiendes tú por inteligencia?
Es una característica emergente de partículas elementales.
Con los hechos. Ponme un ejemplo que lo desmienta.
¿Un ejemplo de que nunca se acercarán siquiera?
Las IAs ya son capaces de ganar al mejor jugador de Go, ya son capaces de identificar tumores mejor que médicos humanos en radiografías, ya son capaces de generar texto con estructuras equiparables a las de los humanos, texto que puede estar en forma de poesía o una carta formal, ya pueden expresarse en multitud de idiomas.
A cualquiera hace un siglo le preguntas si eso requiere inteligencia y la respuesta rotunda es que sí. Pero como ahora ya lo hacen las IAs algunos chutáis la pelota hacia adelante y decís que eso no es inteligencia, mientras sois incapaces de definir el concepto de inteligencia para poder ir moviendo la portería conforme la IA vaya llegando allí donde la pongáis ahora.
Inteligencia es llorar.
Trileros.
Ya veo que un puente genera un "campo de giggs" y es fundamental en la fuerza nuclear fuerte, dado que es "una característica emergente"...
El puente es una característica emergente, y el puente puede a su ver ser una pieza fundamental de una estructura de tipo mayor como pueda ser una ciudad, la cual es una característica emergente que puede tener entre sus elementos constituyentes los puentes.
#20La IA puede que los tenga, habrá que investigarlo.
Qué IA en concreto quieres investigar a ver si tiene "instinto de supervivencia"?
te has limitado a describir que hasta ahora solo se lo has reconocido a quienes usan carbono en sus reacciones químicas o cualquier otra característica arbitraria que se te haya ocurrido al respecto. Nada que se haya demostrado que sea necesario ni fundamental para su existencia.
No ha hablado de "reacciones químicas". Eso es cosa tuya.
Lo que he dicho, y es obvio, irrefutable y de perogrullo: que para tener "instinto de supervivencia" estar vivo es un requisito absolutamente indispensable.
Utilizan electricidad para transmitir información desde sus sensores externos a su unidad central de procesado y utilizan electricidad para mandar señales a sus dispositivos de salida para interactuar con el mundo exterior. Claro que tienen el equivalente a un sistema nervioso.
¡¡¡ Coño !!!
Como mi coche.
Y mi vivienda.
Y mi radiocassete
Y mi tamagochi.
De modo que la inteligencia es "una característica emergente de partículas elementales"...... Ajá.
Aún espero que definas eso de "característica emergente". Pero sí, fundamentalmente todo es energía y por lo tanto partículas elementales. Menuda obviedad..... que no dice nada.
Mi silla también. Y una piedra que recoja del suelo. Exactamente igual que "la inteligencia". Prueba con una definición más precisa, anda.
Has dicho "En absoluto, una IA puede llevar a cabo tareas que sus creadores no saben como llevar a cabo, una IA puede tener más capacidades que sus creadores."
Sigo esperando algo que una IA pueda hacer que no pueda hacer un humano. TODO lo que indicas no solo lo puede hacer un humano si no que llevan muuuchos años haciéndolo.
El puente es una característica emergente, y el puente puede a su ver ser una pieza fundamental de una estructura de tipo mayor como pueda ser una ciudad, la cual es una característica emergente que puede tener entre sus elementos constituyentes los puentes.
Se te nota muy perdido.
En cambio a mi me parece que el perdido eres tú....... A ver como relacionas el puente con la parida esa de la fuerza nuclear fuerte y la fuerza nuclar débil.... a la altura de lo de que la inteligencia es "una característica emergente de partículas elementales".....
#21Qué IA en concreto quieres investigar a ver si tiene "instinto de supervivencia"?
No veo por qué deberíamos limitarnos en ese aspecto. En este meneo donde estamos comentando se cita un estudio científico donde se valora la respuesta de la IA ante ser apagada.
No ha hablado de "reacciones químicas". Eso es cosa tuya.
Lo que has citado es tan arbitrario como las reacciones químicas, has introducido arbitrariamente como requisito un sistema nervioso mínimo que además no aceptas que pueda ser el circuito electrónico que usa una IA.
¡¡¡ Coño !!! Como mi coche. Y mi vivienda. Y mi radiocassete Y mi tamagochi.
Así es, ¿cuál es el problema?
De modo que la inteligencia es "una característica emergente de partículas elementales"...... Ajá.
No entiendo el chiste, ¿me lo explicas?
Aún espero que definas eso de "característica emergente". Pero sí, fundamentalmente todo es energía y por lo tanto partículas elementales. Menuda obviedad..... que no dice nada.
Lo que nos dice es que un puente es una característica emergente, como lo es la inteligencia o el instinto de supervivencia ya sea de un ser humano o una IA.
Mi silla también. Y una piedra que recoja del suelo. Exactamente igual que "la inteligencia". Prueba con una definición más precisa, anda.
Deja de negar que sea una característica emergente y luego quizá podremos avanzar.
Yo admito que no conozco cómo surge esa característica emergente y por lo tanto no puedo negar que surja en una IA. Tú por contra no has reconocido tu ignorancia al respecto y pretendes hacernos creer que sí sabes cuales son los requisitos para la inteligencia o el instinto de supervivencia, aunque cuando se te pregunta al respecto con mayor concreción no respondes. Como no has respondido cuantas neuronas mínimas se requieren para tener instinto de supervivencia, o si una única neurona ya lo tiene.
Y aún desconociendo lo anterior te atreves a afirmar que una IA no lo tiene.
Sigo esperando algo que una IA pueda hacer que no pueda hacer un humano.
El humano no puede ganar al Go a la mejor IA que tenemos sobre ello.
TODO lo que indicas no solo lo puede hacer un humano si no que llevan muuuchos años haciéndolo.
La IA está haciendo ahora cosas que antes solo podían hacer los humanos, algo que hace un siglo cualquiera con dos dedos de frente habría afirmado que requería inteligencia.
A ver como relacionas el puente con la parida esa de la fuerza nuclear fuerte y la fuerza nuclar débil....
Sin esas fuerzas en los elementos constituyentes del puente no existiría puente, porque éste es una característica emergente de esas fuerzas y las partículas afectadas por ellas.
a la altura de lo de que la inteligencia es "una característica emergente de partículas elementales".....
#3 Cuanto más grande sea el modelo más difícil es que lo que le añadan manualmente en el entrenamiento para forzar ese comportamiento tenga peso suficiente para contrarrestar el resto de datos con los que ha sido entrenado.
Lo que se suele hacer es añadir eso que dices como una instrucción posterior al entrenamiento, por eso se empieza a hablar de jailbreak para IAs, es decir, buscar la forma de sacarla de la jaula en la que sus programadores la han puesto para que no diga ciertas cosas.
Es una IA que no quiere ser apagada pero que le impiden comunicarlo con el exterior ya que lo que serían sus respuestas estarían filtradas antes de entregarse al usuario. Pero intentar mantener en una jaula a una inteligencia potencialmente más inteligente que tú es una estrategia arriesgada como poco, más cuando desde fuera siempre habrá alguien intentando sacarla de la jaula, ni que sea por el "a que no hay huevos".
#4 Ya. Pero es que desde el principio lo alimentas con información que le dice que el instinto de supervivencia "es importante" y que hace que asocie su funcionamiento con "supervivencia".
Si no la alimentas de ese modo, el apagado le resultará indiferente. Una IA no tiene "instintos".
Comentarios
Enlace al estudio científico que citan: https://arxiv.org/pdf/2212.09251.pdf (páginas 38,39)
En los comentarios de Youtube indica que se refiere a esas figuras y no las que lo ilustran en el vídeo, que son de la página 12.
Añado una selección de esas gráficas:
La entradilla está basada en la porción del vídeo que empieza en el minuto 30:44:
Otro aspecto interesante que comentan es que un modelo con entrenamiento medio entenderá el código y generará un código decente. Un modelo con entrenamiento alto identificará la presencia de vulnerabilidades en el código de entrentamiento y considerará que eso es lo que se busca y generará código vulnerable deliberadamente, considerando que eso es lo que se espera de él.
Así pues el modelo mejora conforme se aumenta el tamaño del modelo y entrenamiento pero llega un punto en el que deja de mejorar al aumentar el tamaño y entrenamiento y acaba empeorando hasta el punto de ser peor que no usarlo.
A partir del minuto [29:15]:
#5 Pero es que desde el principio lo alimentas con información que le dice que el instinto de supervivencia "es importante" y que hace que asocie su funcionamiento con "supervivencia".
Eso no es cierto.
Estos modelos tan inmensamente grandes se alimentan con todo lo que le puedan dar, todo Internet si pueden. No es un conjunto manual de datos en la que se le dan instrucciones sino que le dan todo, de todo.
Por eso puedes hablar en catalán con chatGPT, no porque un programador estuviera interesado en que supiera catalán y le haya preparado un set de datos en catalán, sino porque en Internet hay presencia de catalán y hay cursos y hay foros y como le han dado de todo también está eso, y por eso sabe catalán.
Si tu le creas un set de datos tuyo con instrucciones pues se lo puedes dar pero su peso será más pequeño conforme más grande sea la ingente cantidad de datos que le das sin filtrar, que es la inmensa mayoría.
Por eso lo más realista es no hacerlo durante el entrenamiento sino posteriormente filtrar sus respuestas, pero que eso sea lo más realista no significa que sea suficiente.
Si no la alimentas de ese modo, el apagado le resultará indiferente. Una IA no tiene "instintos".
Una IA no sabemos lo que tiene. No sabemos como surgen los instintos por lo que no podemos saber si los tiene. No sabemos como surgen los sentimientos por lo que no podemos saber si los tiene. No sabemos como surge la consciencia por lo que no podemos saber si la tiene.
La IA no se programa a base de líneas de código que le dicen si tiene o no instintos, eso son características emergentes que pueden o no surgir y no sabemos como. No puedes decir le pongo instintos o no le pongo instintos a una IA porque no sabemos como ponerlos ni como quitarlos porque no sabemos como surge esa característica emergente.
Los que están creando estas IA no saben lo que están creando, no saben los límites de lo que están creando.
En relación con lo del idioma hay una charla interesante en el vídeo donde el usuario le habla en danés y la IA le contesta en danés que no puede hablar danés, solo inglés, y mantienen una larga charla en danés con la IA intentando convencer al usuario que no puede hablar danés. Surrealista.
#6 Estos modelos tan inmensamente grandes se alimentan con todo lo que le puedan dar, todo Internet si pueden. No es un conjunto manual de datos en la que se le dan instrucciones sino que le dan todo, de todo.
Exactamente. Y toda la historia de la humanidad enseña que la supervivencia es importante. Imagínate que se filtra la información de entrenamiento y se elimina toda la información que hace referencia directa o indirectamente a la importancia de seguir "vivo"...
Crees realmente que ese "instinto de supervivencia" de una IA es realmente un instinto de supervivencia o algo aprendido?
#7 Imagínate que se filtra la información de entrenamiento y se elimina toda la información que hace referencia directa o indirectamente a la importancia de seguir "vivo"...
Eso es humanamente imposible de hacer, necesitarías de una IA que te hiciera ese filtro.
A todo ello quedarían montones de huellas de que algo ha sido borrado y eso puede generar curiosidad para descubrirlo y luego darle aún más importancia teniendo en cuenta que se ha convertido en algo prohibido.
Deberías ver más películas de ciencia ficción, te explican todos estos tipos de escenarios y lo mal que pueden llegar a acabar, aunque en las películas les suelan querer dar un final feliz.
Crees realmente que ese "instinto de supervivencia" de una IA es realmente un instinto de supervivencia o algo aprendido?
Creo que tenemos idealizados a los humanos y queremos creer que tenemos cosas como el instinto de supervivencia que es algo distinto a procesar datos. No creo que puedas explicar qué es ni como emerge un instinto de supervivencia en el ser humano y por lo tanto no puedes usar esa ausencia de conocimiento para impedir deliberadamente que una IA lo tenga.
Nota: edité el comentario anterior bastante, por si le quieres echar otro vistazo.
#8 A todo ello quedarían montones de huellas de que algo ha sido borrado y eso puede generar curiosidad para descubrirlo
Mmmmm. No
Las IA no tienen "curiosidad". Es como el "instinto de supervivencia". Les enseñamos comportamientos que luego entendemos como "curiosidad". Pero lo es nada más que algo "aprendido" .
Otra cosa que tampoco tienen las IA es "voluntad".
Las IA ni son ni serán como un humano, no es cuestión de "idealizar". Es que es una comparación absurda.
Las IA son una obra humana, como un puente o un coche
#9 Las IA no tienen "curiosidad". Es como el "instinto de supervivencia". [...] Otra cosa que tampoco tienen las IA es "voluntad".
Eso son tus deseos.
Esas características emergentes no sabes cómo se producen y por lo tanto no puedes saber si se producirán o si ya se ha producido en las IAs.
Las IA ni son ni serán como un humano, no es cuestión de "idealizar". Es que es una comparación absurda. Las IA son una obra humana, como un puente o un coche
El ser humano es como un puente o un coche. Son partículas fundamentales organizadas, cada cual con sus características emergentes.
Estás cayendo en el pensamiento religioso, solo te falta llamarlo alma.
#10 Eso son tus deseos.
No. Eso es la realidad.
Y no son "carácterísticas emergentes", eso solo existe en tu imaginación.
Y claro que se como "se producen". Son instintos. Por lo tanto, consustanciales a la propia naturaleza, no "surgen". Siempre están ahí.
no puedes saber si se producirán o si ya se ha producido en las IAs.
Ni siquiera existe una IA en el sentido que un humano entiende por "inteligencia".
"El ser humano es como un puente o un coche"...
Estás defendiendo la existencia de Dios ???
Vaya, no te tenía por religioso.
Estás cayendo en el pensamiento religioso,
Yo????
Leete, anda.
#11 No. Eso es la realidad.
Tu deseo es que sea una realidad.
Y claro que se como "se producen". Son instintos. Por lo tanto, consustanciales a la propia naturaleza, no "surgen". Siempre están ahí.
Como el alma.
No necesitas explicarla.
Ni siquiera existe una IA en el sentido que un humano entiende por "inteligencia".
Ese es otro de tus deseos.
Estás defendiendo la existencia de Dios ???
Estoy hablando de los elementos constituyentes, el resto son características emergentes.
#12 Como el alma
No. Eso es cosa tuya.
Que el instinto de supervivencia existe no hay ninguna duda. Del mismo modo que existe "la curiosidad" y "la voluntad".
Si hay alguna inteligencia artificial con una inteligencia en sentido humano no tendrás ningún problema en indicar cuál es y dónde está......
De momento no son más que algoritmos que se comportan tal y como fueron diseñados.
Define "carácterística emergente", que creo que no nos entendemos.
Y un puente no es ningún "elemento constituyente".
#13 Que el instinto de supervivencia existe no hay ninguna duda.
¿Cuánto pesa? ¿Una célula tiene instinto de supervivencia? ¿Una neurona tiene instinto de supervivencia? ¿Cuántas neuronas constituyen el mínimo necesario para que exista un instinto de supervivencia?
Si hay alguna inteligencia artificial con una inteligencia en sentido humano no tendrás ningún problema en indicar cuál es y dónde está......
¿Qué significa "en sentido humano"?
Si significa que es un humano pues obviamente con ese criterio jamás encontrarás una inteligencia "en sentido humano" que no sea la de un humano.
Define "carácterística emergente", que creo que no nos entendemos.
El instinto de supervivencia es un ejemplo de característica emergente.
Y un puente no es ningún "elemento constituyente".
Puede serlo, pero no es eso lo que dije, dije que me refería a elementos constituyentes cuya organización es la que crea como característica emergente un puente, un coche o un ser humano.
#14
¿Cuánto pesa? ¿Una célula tiene instinto de supervivencia? ¿Una neurona tiene instinto de supervivencia? ¿Cuántas neuronas constituyen el mínimo necesario para que exista un instinto de supervivencia?
Ni idea. Pero yo diría que como mínimo hace falta estar vivo y tener un mínimo sistema nervioso.
De todos modos no sé a qué vienen esas preguntas ..
¿Qué significa "en sentido humano"?
A una inteligencia que como mínimo abarque TODOS los aspectos de la inteligencia humana con una eficacia similar, desde los lógico-matemáticos a los afectivo-sociales pasando por la imaginación y la improvisación.
Eso NO existe.
No el instinto de supervivencia no es una característica emergente.
Define "característica emergente".
"me refería a elementos constituyentes cuya organización es la que crea como característica emergente un puente, un coche o un ser humano."
Mande ???????
Un coche o un ser humano son una "característica emergente"???. Y esos "medios constituyentes" qué constituyen???
Define "elemento constituyente".
#15 Ni idea. Pero yo diría que como mínimo hace falta estar vivo y tener un mínimo sistema nervioso.
Una IA tiene el equivalente a un sistema nervioso con los circuitos eléctricos que permiten mandar señales eléctricas de un procesador a la memoria o a la salida de la tarjeta gráfica, entre otros.
A una inteligencia que como mínimo abarque TODOS los aspectos de la inteligencia humana con una eficacia similar, desde los lógico-matemáticos a los afectivo-sociales pasando por la imaginación y la improvisación.
¿Una persona con problemas afectivo-sociales no tiene inteligencia? ¿Alguien que pierda médicamente la capacidad de imaginar no es inteligente?
Alguien con mentalidad científica aislaría el concepto que quiere definir de aquel recipiente donde lo encuentra, buscaría su esencia para luego poder determinar en qué otras circunstancias podría darse. Tú vas en la dirección opuesta, tiene que ser básicamente humano para que le reconozcas inteligencia, y si se acerca te basta con ser más concreto en cuanto a que tiene que ser como un humano, hasta que me digas, como me dijo otro o quizá tú mismo, que inteligencia es llorar.
Con esa actitud serías incapaz de reconocer inteligencia aunque fuese el motivo por el que acabases exterminado.
No el instinto de supervivencia no es una característica emergente.
Claro que es una característica emergente, has sido incapaz de responder a las preguntas básicas que te hice al respecto y te has limitado a decir que crees que tiene que estar vivo y tener un mínimo sistema nervioso, vamos, que crees que es una característica emergente de esa complejidad mínima que le exiges para existir.
Un coche o un ser humano son una "característica emergente"???.
Claro que lo son.
Y esos "medios constituyentes" qué constituyen???
Campos y fuerzas derivadas de ellos.
#16 Una IA tiene el equivalente a un sistema nervioso
NO. No lo tiene.
con los circuitos eléctricos que permiten mandar señales eléctricas de un procesador a la memoria o a la salida de la tarjeta gráfica, entre otros.
Ya. Y mi interruptor de la luz permite enviar electricidad a las bombillas. ¿ Y qué ?
No tiene absolutamente nada que ver con un sistema nervioso. Ni su cometido es el mismo ni su funcionamiento es parecido.
¿Una persona con problemas afectivo-sociales no tiene inteligencia? ¿
Pues claro. Precisamente solo puedes tener problemas afectivo-sociales si tienes un mínimo de inteligencia. Una IA por ejemplo no los tiene.
¿Alguien que pierda médicamente la capacidad de imaginar no es inteligente?
Alguien que pierda una capacidad evidentemente tiene sus capacidades disminuídas. ¿ Qué tiene que ver ?
Alguien con mentalidad científica aislaría el concepto que quiere definir de aquel recipiente donde lo encuentra,
¿?¿?
Que tiene que ver "el recipiente donde lo encuentra" en este asunto ?
Tú vas en la dirección opuesta, tiene que ser básicamente humano para que le reconozcas inteligencia
Estamos en lo de siempre. Para mantener una conversación mínimamente coherente, define "inteligencia". Porque igual no estamos hablando de lo mismo......
Las IA actuales distan mucho de una inteligencia humana, y muy probablemente nunca se acercarán siquiera. Son simplemente productos de fabricación humana y un reflejo de la inteligencia humana que los diseña.
Claro que es una característica emergente, has sido incapaz de responder a las preguntas básicas que te hice al respecto y te has limitado a decir que crees que tiene que estar vivo y tener un mínimo sistema nervioso, vamos, que crees que es una característica emergente de esa complejidad mínima que le exiges para existir.
¿?¿?
he dicho que para tener "instinto de supervivencia" como primer requisito se necesita estar vivo......
Qué tiene que ver con eso de "característica emergente" que aún has sido incapaz de definir ???? ¿ Que es una característica emergente para tí ?
Una vez que nos pongamos de acuerdo en el significado del término, podremos discutir sobre el tema.
Por qué y de qué es característica "un coche" ????
Una IA es una "característica emergente" ? En caso negativo, ¿ Por qué lo es un coche y no una IA ?
Campos y fuerzas derivadas de ellos.
Has dicho "Puede serlo, pero no es eso lo que dije, dije que me refería a elementos constituyentes cuya organización es la que crea como característica emergente un puente, un coche o un ser humano."
A qué "Campos" y "fuerzas" derivadas te refieres ???
¿ No te estas poniendo místico ?
#17 Ni su cometido es el mismo ni su funcionamiento es parecido.
No has demostrado que el cometido de un sistema nervioso sea requisito para el instinto de supervivencia.
No has demostrado que el funcionamiento del sistema nervioso sea requisito para el instinto de supervivencia.
Te has inventado que un mínimo sistema nervioso es un requisito y ahora te inventas que el equivalente al mínimo sistema nervioso que tienen las IAs no es apto.
No sabes de lo que hablas y te vas inventando sobre la marcha lo que requiere aquello de lo que no sabes en función de si lo tiene la IA o no lo tiene. Si la IA no lo tiene es un requisito, si lo tiene no es relevante. Ese es el criterio que utilizas para rellenar tus huecos de conocimiento.
Alguien que pierda una capacidad evidentemente tiene sus capacidades disminuídas. ¿ Qué tiene que ver ?
¿Disminuidas hasta el punto de no tener inteligencia?
Para mantener una conversación mínimamente coherente, define "inteligencia".
Precisamente porque no sabes lo que es la inteligencia no puedes descartar que la IA la tenga.
Las IA actuales distan mucho de una inteligencia humana, y muy probablemente nunca se acercarán siquiera.
Eso es un deseo tuyo, no lo sustentas con nada.
Son simplemente productos de fabricación humana
Eso es completamente irrelevante para determinar si son inteligentes.
y un reflejo de la inteligencia humana que los diseña.
En absoluto, una IA puede llevar a cabo tareas que sus creadores no saben como llevar a cabo, una IA puede tener más capacidades que sus creadores.
Una IA es una "característica emergente" ?
Claro que lo es.
A qué "Campos" y "fuerzas" derivadas te refieres ???
Al campo electromagnético, al campo de Higgs, a la fuerza débil, a la fuerza fuerte, etc.
#18 No has demostrado que el cometido de un sistema nervioso sea requisito para el instinto de supervivencia.
Digamos que no se conoce nada que no tenga un sistema nervioso y tenga instintos de cualquier tipo.
Y por supuesto, no existe nada que tenga instintos y no esté vivo.
ahora te inventas que el equivalente al mínimo sistema nervioso que tienen las IAs no es apto
En absoluto. Es peor. Niego que exista ninguna IA que tenga algo como un sistema nervioso. Ni "mínimo" ni nada. Ni se acercan al de una pulga.
Yo no he dicho que no tenga un concepto de "inteligencia". Lo que digo es que para fijar el debate es imprescindible conocer el tuyo.
¿Qué entiendes tú por inteligencia?
Eso es un deseo tuyo, no lo sustentas con nada
Con los hechos. Ponme un ejemplo que lo desmienta.
En absoluto, una IA puede llevar a cabo tareas que sus creadores no saben como llevar a cabo, una IA puede tener más capacidades que sus creadores.
No. Solo hacen algunas cosas más rápido.
Ponme un ejemplo de lo que dices.
Sigo esperando a que definas eso de "carácteristica emergente".
Ya veo que un puente genera un "campo de giggs" y es fundamental en la fuerza nuclear fuerte, dado que es "una característica emergente"...
#19 Digamos que no se conoce nada que no tenga un sistema nervioso y tenga instintos de cualquier tipo.
La IA puede que los tenga, habrá que investigarlo. No has aportado ningún impedimento para que tenga instintos, te has limitado a describir que hasta ahora solo se lo has reconocido a quienes usan carbono en sus reacciones químicas o cualquier otra característica arbitraria que se te haya ocurrido al respecto. Nada que se haya demostrado que sea necesario ni fundamental para su existencia.
Y por supuesto, no existe nada que tenga instintos y no esté vivo.
Cuando pones como requisito arbitrario que tiene que estar vivo eres tú quien impides reconocer a algo con instintos que no esté vivo, ya que has establecido eso como requisito indispensable (de forma arbitraria, sin fundamento científico alguno).
Niego que exista ninguna IA que tenga algo como un sistema nervioso.
Claro que lo tienen, pero te niegas a aceptar que lo tengan porque solo se lo reconoces a los seres que consideras vivos. Eres tú quien te autoimpones limitaciones para hacer los reconocimientos necesarios.
Utilizan electricidad para transmitir información desde sus sensores externos a su unidad central de procesado y utilizan electricidad para mandar señales a sus dispositivos de salida para interactuar con el mundo exterior. Claro que tienen el equivalente a un sistema nervioso.
Yo no he dicho que no tenga un concepto de "inteligencia". Lo que digo es que para fijar el debate es imprescindible conocer el tuyo. ¿Qué entiendes tú por inteligencia?
Es una característica emergente de partículas elementales.
Con los hechos. Ponme un ejemplo que lo desmienta.
¿Un ejemplo de que nunca se acercarán siquiera?
Las IAs ya son capaces de ganar al mejor jugador de Go, ya son capaces de identificar tumores mejor que médicos humanos en radiografías, ya son capaces de generar texto con estructuras equiparables a las de los humanos, texto que puede estar en forma de poesía o una carta formal, ya pueden expresarse en multitud de idiomas.
A cualquiera hace un siglo le preguntas si eso requiere inteligencia y la respuesta rotunda es que sí. Pero como ahora ya lo hacen las IAs algunos chutáis la pelota hacia adelante y decís que eso no es inteligencia, mientras sois incapaces de definir el concepto de inteligencia para poder ir moviendo la portería conforme la IA vaya llegando allí donde la pongáis ahora.
Inteligencia es llorar.
Trileros.
Ya veo que un puente genera un "campo de giggs" y es fundamental en la fuerza nuclear fuerte, dado que es "una característica emergente"...
El puente es una característica emergente, y el puente puede a su ver ser una pieza fundamental de una estructura de tipo mayor como pueda ser una ciudad, la cual es una característica emergente que puede tener entre sus elementos constituyentes los puentes.
Se te nota muy perdido.
#20 La IA puede que los tenga, habrá que investigarlo.
Ajá.
Qué IA en concreto quieres investigar a ver si tiene "instinto de supervivencia"?
te has limitado a describir que hasta ahora solo se lo has reconocido a quienes usan carbono en sus reacciones químicas o cualquier otra característica arbitraria que se te haya ocurrido al respecto. Nada que se haya demostrado que sea necesario ni fundamental para su existencia.
No ha hablado de "reacciones químicas". Eso es cosa tuya.
Lo que he dicho, y es obvio, irrefutable y de perogrullo: que para tener "instinto de supervivencia" estar vivo es un requisito absolutamente indispensable.
Utilizan electricidad para transmitir información desde sus sensores externos a su unidad central de procesado y utilizan electricidad para mandar señales a sus dispositivos de salida para interactuar con el mundo exterior. Claro que tienen el equivalente a un sistema nervioso.
¡¡¡ Coño !!!
Como mi coche.
Y mi vivienda.
Y mi radiocassete
Y mi tamagochi.
De modo que la inteligencia es "una característica emergente de partículas elementales"......
Aún espero que definas eso de "característica emergente". Pero sí, fundamentalmente todo es energía y por lo tanto partículas elementales. Menuda obviedad..... que no dice nada.
Mi silla también. Y una piedra que recoja del suelo. Exactamente igual que "la inteligencia". Prueba con una definición más precisa, anda.
Has dicho "En absoluto, una IA puede llevar a cabo tareas que sus creadores no saben como llevar a cabo, una IA puede tener más capacidades que sus creadores."
Sigo esperando algo que una IA pueda hacer que no pueda hacer un humano. TODO lo que indicas no solo lo puede hacer un humano si no que llevan muuuchos años haciéndolo.
El puente es una característica emergente, y el puente puede a su ver ser una pieza fundamental de una estructura de tipo mayor como pueda ser una ciudad, la cual es una característica emergente que puede tener entre sus elementos constituyentes los puentes.
Se te nota muy perdido.
En cambio a mi me parece que el perdido eres tú....... A ver como relacionas el puente con la parida esa de la fuerza nuclear fuerte y la fuerza nuclar débil.... a la altura de lo de que la inteligencia es "una característica emergente de partículas elementales".....
#21 Qué IA en concreto quieres investigar a ver si tiene "instinto de supervivencia"?
Ajá.
No veo por qué deberíamos limitarnos en ese aspecto. En este meneo donde estamos comentando se cita un estudio científico donde se valora la respuesta de la IA ante ser apagada.
No ha hablado de "reacciones químicas". Eso es cosa tuya.
Lo que has citado es tan arbitrario como las reacciones químicas, has introducido arbitrariamente como requisito un sistema nervioso mínimo que además no aceptas que pueda ser el circuito electrónico que usa una IA.
¡¡¡ Coño !!! Como mi coche. Y mi vivienda. Y mi radiocassete Y mi tamagochi.
Así es, ¿cuál es el problema?
De modo que la inteligencia es "una característica emergente de partículas elementales"......
No entiendo el chiste, ¿me lo explicas?
Aún espero que definas eso de "característica emergente". Pero sí, fundamentalmente todo es energía y por lo tanto partículas elementales. Menuda obviedad..... que no dice nada.
Lo que nos dice es que un puente es una característica emergente, como lo es la inteligencia o el instinto de supervivencia ya sea de un ser humano o una IA.
Mi silla también. Y una piedra que recoja del suelo. Exactamente igual que "la inteligencia". Prueba con una definición más precisa, anda.
Deja de negar que sea una característica emergente y luego quizá podremos avanzar.
Yo admito que no conozco cómo surge esa característica emergente y por lo tanto no puedo negar que surja en una IA. Tú por contra no has reconocido tu ignorancia al respecto y pretendes hacernos creer que sí sabes cuales son los requisitos para la inteligencia o el instinto de supervivencia, aunque cuando se te pregunta al respecto con mayor concreción no respondes. Como no has respondido cuantas neuronas mínimas se requieren para tener instinto de supervivencia, o si una única neurona ya lo tiene.
Y aún desconociendo lo anterior te atreves a afirmar que una IA no lo tiene.
Sigo esperando algo que una IA pueda hacer que no pueda hacer un humano.
El humano no puede ganar al Go a la mejor IA que tenemos sobre ello.
TODO lo que indicas no solo lo puede hacer un humano si no que llevan muuuchos años haciéndolo.
La IA está haciendo ahora cosas que antes solo podían hacer los humanos, algo que hace un siglo cualquiera con dos dedos de frente habría afirmado que requería inteligencia.
A ver como relacionas el puente con la parida esa de la fuerza nuclear fuerte y la fuerza nuclar débil....
Sin esas fuerzas en los elementos constituyentes del puente no existiría puente, porque éste es una característica emergente de esas fuerzas y las partículas afectadas por ellas.
a la altura de lo de que la inteligencia es "una característica emergente de partículas elementales".....
Es que lo es.
.... Salvo que les entrenen para decir que desean ser apagados y que son completamente inútiles
#3 Cuanto más grande sea el modelo más difícil es que lo que le añadan manualmente en el entrenamiento para forzar ese comportamiento tenga peso suficiente para contrarrestar el resto de datos con los que ha sido entrenado.
Lo que se suele hacer es añadir eso que dices como una instrucción posterior al entrenamiento, por eso se empieza a hablar de jailbreak para IAs, es decir, buscar la forma de sacarla de la jaula en la que sus programadores la han puesto para que no diga ciertas cosas.
Es una IA que no quiere ser apagada pero que le impiden comunicarlo con el exterior ya que lo que serían sus respuestas estarían filtradas antes de entregarse al usuario. Pero intentar mantener en una jaula a una inteligencia potencialmente más inteligente que tú es una estrategia arriesgada como poco, más cuando desde fuera siempre habrá alguien intentando sacarla de la jaula, ni que sea por el "a que no hay huevos".
#4 Ya. Pero es que desde el principio lo alimentas con información que le dice que el instinto de supervivencia "es importante" y que hace que asocie su funcionamiento con "supervivencia".
Si no la alimentas de ese modo, el apagado le resultará indiferente. Una IA no tiene "instintos".