#9 El entrenamiento consiste en una serie de respuestas memorizadas.
Específicamente, se le pregunta algo a la red neuronal y se califica esa repuesta entre buena y mala. El modelo adapta sus parámetros internos en base a esa calificación (backpropagation). A base de repetir y repetir, el modelo acaba "aprendiendo" la respuesta que al calificador le gusta.
Ahí hay, desde luego, mucho espacio para meter sesgos.
Sin embargooooooo, mucho de lo que se le pregunta a un LLM no pasa por esas respuestas aprendidas, sino que es simplemente regurgitar textos que se ha tragado (internet entera) en base a probabilidades, e interpolarlos (que es en lo que las redes neuronales brillan). Ahí no hay espacio para meterle sesgos si no es restringiendo y seleccionando esas entradas.
Esto no se hace. Cada modelo existente está en la carrera de superar a sus rivales, y no tienen otra arma que meter más y más datos.
#28 Yo considero que no. Es nuevo conocimiento (por la definición de nuevo) pero no contiene nada básico que sea nuevo. Si resuelve un problema matemático (hay mucho trilerismo ahí, pero eso aparte, asumamos que realmente lo ha hecho) es gracias a que los métodos que llevan a ese resultado ya estaban establecidos y se le dieron en su entrenamiento. Lo que ha hecho es usarlos y llegar a un resultado que nos gusta (no lo llamamos alucinación como cuando no nos gusta).
Es decir, que el resultado no es más que una consecuencia de sus datos de entrada. Esto los ordenadores sí que lo hacen. Conceptualmente es equivalente sumar dos números enteros. No hay que confundir la complejidad con el concepto.
Para nada niego la utilidad; obviamente. Pero no es como si hubiera inventado algo nuevo.
El día que una IA deduzca un nuevo método de integración, por ejemplo, eso será digno de verse. Como suceda eso, ibas a ver el ruido.
#31 Ahora me ha dado por usar Gemini. Alucina ni más ni menos que los otros modelos. Las alucinaciones son una consecuencia inevitable de la forma de funcionar de un LLM. Hay muchas cosas que un LLM no puede hacer y un humano sí que hace.
#23 Son conceptos distintos. Es verdad que un modelo con sus parámetros cuantizados (de menos precisión) va a dar un resultado distinto antes de cuantizarse y después de cuantizarse, pero esa diferencia los convierte en modelos distintos.
Un mismo modelo es determinista, es decir que siempre va a dar el mismo resultado si obviamos la aleatorización que se le añade a propósito (cuando no hay aleatorización se dice que se usa temperatura cero).
Tanto da el proceso (entrenamiento) que se use para llegar a configurar un modelo. Lo mismo para cualquier tipo de post-proceso. Al final tienes un modelo concreto con sus parámetros, que son los que son y no otros. Eso es un resultado que es fijo. Es decir que los errores que se produzcan durante el entrenamiento no tienen nada que ver con que el modelo sea o no determinista.
Otra cosa muy distinta (que no me consta en absoluto) sería que se introdujera aleatoriedad en el prompt del sistema (que va siempre junto al promp del usuario, dentro del contexto). Pero, repito, nunca he oido hablar de nada de eso.
#8 No he podido leer todo eso. Mucha letra, ninguna información.
No es sólo la tendencia moderna a no poder leer textos largos. Es que mientras vas leyendo líneas y líneas y líneas es necesario que tanto texto contenga algo, y ahí no hay nada.
#19 Un LLM no puede crear nueva ciencia. Esto es por "definición". O lo mismo dicho de otro modo, porque de la manera que funciona no puede sino devolver la información que le ha entrado antes. Es un ordenador y funciona como cualquier ordenador, sin magia.
Específicamente, se le pregunta algo a la red neuronal y se califica esa repuesta entre buena y mala. El modelo adapta sus parámetros internos en base a esa calificación (backpropagation). A base de repetir y repetir, el modelo acaba "aprendiendo" la respuesta que al calificador le gusta.
Ahí hay, desde luego, mucho espacio para meter sesgos.
Sin embargooooooo, mucho de lo que se le pregunta a un LLM no pasa por esas respuestas aprendidas, sino que es simplemente regurgitar textos que se ha tragado (internet entera) en base a probabilidades, e interpolarlos (que es en lo que las redes neuronales brillan). Ahí no hay espacio para meterle sesgos si no es restringiendo y seleccionando esas entradas.
Esto no se hace. Cada modelo existente está en la carrera de superar a sus rivales, y no tienen otra arma que meter más y más datos.