Los fundamentos matemáticos de los LLMs son deterministas siempre que se calculen de forma secuencial.
Como los LLMs corren en GPUs, y por lo tanto los cálculos no son secuenciales, las matemáticas que los rigen son no deterministas, porque ante un mismo valor de entrada devuelven valores diferentes en cada ejecución.
Y por supuesto que los cálculos se pueden hacer en una CPU, y a mano también se pueden hacer, pero ya te he dicho que es económicamente inviable, y lo ignoras convenientemente para seguir por tu linde y no aceptar la realidad, que es que los LLMs no son deterministas.
Respecto a tus predicciones, llevo un año leyendo en tus comentarios que en un par de meses tendremos AGIs. Vamos, que te crees las ínfulas de Altman y Musk incluso más que ellos mismos, dicho de otra manera, eres más papistas que los papas de la IA, pero sin intereses milmillonarios detrás, y por eso haces el ridículo.
Respecto a que la IA no va a desaparecer, evidentemente Capitán Obviedad. Nadie nunca ha dicho lo contrario. Lo que se dice es que va a pinchar la burbuja de la IA, lo cual es evidente, y cuando eso ocurra van a quebrar muchas empresas, entre ellas OpenAI, y se va a pasar de moda el meterle la etiqueta IA hasta a las lavadoras.
Pero no por ello se van a dejar de usar los LLMs ni mucho menos, si acaso se volverán más caros cuando solo queden las 4 grandes tecnológicas y se acabe la fiesta de la financiación gratuita para el resto. Así que tranquilo, los LLMs seguirán haciéndonos la parte tediosa del trabajo a los programadores y a muchos otros gremios, y las redes sociales seguirán llenas de videos de mierda, eso no va a cambiar aunque pinche la burbuja.
Ahora que ya has medio aceptado que los LLMs no son deterministas, solo te falta aceptar que ni tú ni yo vamos a ver una AGI en la vida, ni mucho menos va a ser derivada de un LLM que falla más que una escopeta de feria, ni de ningún otro modelo de IA basado en estadística, por muy grande que sea. Y aquí seguiré recordándotelo cada vez que vea un comentario tuyo pregonizando lo maravillosos que son LLMs.
#39, te lo he explicado en #35, los fundamentos matemáticos se los LLM son deterministas, no es algo discutible, lo que comentas es un problema que tiene cualquier software que corra en cualquier GPU de forma paralela. Si ejecutas un LLM en una CPU, algo técnicamente posible aunque tome mucho tiempo, su comportamiento es determinista.
Esto no afecta a los límites, capacidades y potencial que tengan los LLM modernos y cualquier arquitectura que derive se ellos. Eventualemente un modelo determinsta puede dar respuestas que son una castaña y uno estocástico puede dar respuestas en las que confiar la inmensa mayoría de veces. Son cosas independientes.
Respecto a mis predicciones, los que se deberían meter debajo de una cueva son los que hace 3 años decían que los LLM no podían dar más de sí, que no tenían margen de mejora y que no iban a pasar de una moda pasajera.
Mis predicciones se han cumplido al pie de la letra y más que se van a cumplir, los LLM y otras arquitecturas basadas en redes neuronales van a impregnarlo todo de ahora en adelante. El desarrollo de la humanidad de ahora en adelante estará íntimamente ligado al desarrollo de este tipo de modelos, desde trabajos simplones como el se un programador o cualquier otro oficinista, hasta trabajos más elevados como el de investigador, matemático o cualquiera que trabaje empujando las fronteras del conocimiento, incluso trabajos artísticos o creativos. Todos los trabajos cognitivos van a estar acompañados y dirigidos por IAs y quien siga diciendo que esto es una moda y que algún día volveremos a trabajar como lo hacíamos en 2019, sí que está haciendo el ridículo.
#38 toma, aquí tienes un croquis donde Rick & Morty te explican porque los LLMs no son deterministas. básicamente lo mismo que he puesto en #39, hecho con IA generativa:
#38 riéte, riéte, que es lo único que te queda ante el ridículo que haces cada vez que niegas lo evidente.
Te lo repito, las matemáticas de los LLMs no son deterministas porque la suma en coma flotante no es asociativa, y como los LLMs se ejecutan en GPUs de forma concurrente los resultados varian entre ejecución y ejecución. Es un hecho irrefutable, que se explica matemáticamente de forma muy simple:
(a + b) + c != a + (b + c)
Con el ejemplo clásico:
a = 10 ^ 16
b = -10 ^ 16
c = 1
(a + b) + c -> (10 ^ 16 + -10 ^ 16) + 1 = 1
a + (b + c) -> 10 ^ 16 + (10 ^ 16 + 1) = 0, porque el 1 se pierde por la falta de precisión de la coma flotante.
Y, como ya te he dicho, la única forma de que sea determinsta es forzar que la ejecución sea secuencial, lo cual haria que los LLMs y los grandes modelos de IA en general sean económicamente inviables.
De un simple ingeniero, a un supuesto doctor..
Y ahora puedes ir corriendo a preguntárselo a tu LLM favorito
#35 ah, y no, las matemáticas detrás de los modelos de LLMs no son deterministas, porque en las operaciones que hacen las GPUs el orden de los factores sí que altera el producto, y hacerlas secuenciales para garantizar el orden haría que no fuesen rentables, o mejor dicho, que fuesen inviables económicamente, porque rentables no lo son ni lo serán nunca con el ritmo de gasto que llevan. Hay que prestar más atención a lo que lees..
#35 es tan sencillo como que nada te garantiza que ante un mismo input tengas una misma respuesta, y lo sabe cualquiera que haya trabajado extensivamente con un LLM. Ni siquiera la opción de structured output para obtener respuestas en formato JSON está garantizada y falla de vez en cuando, opción programada por el propio proveedor como OpenAI o Google. Y ya no te digo que el contenido del JSON sea el mismo, por ejemplo un boolean ante una pregunta simple y clara sea siempre true o false, es que ni siquiera te garantizan que la respuesta sea siempre JSON. Lo que hacen para que falle menos es comprobarlo en servidor y repetir la inferencia hasta que obtienen un JSON, pero esto solo es rentable con los modelos lite, no con los pro, y por eso fallan muchísimo y no te queda otra que programar los reintentos en el cliente (Pagando por doble o triple) y tener un buen fallback.
Pero ya nos conocemos, y al final va a dar igual cuantos argumentos y fuentes te de, de mi propia experiencia o de fuentes externas, que siempre vas a negar todo lo que no te guste, exactamente igual que un negacionista.
Llevas 2 años dando la chapa con que los LLMs son la quinta esencia de la inteligencia y repitiendo que en dos meses vamos a tener AGIs, y no te cansas de hacer el ridículo viendo como tus predicciones no solo no se cumplen sino que se rebaten cada día que pasa, con los mayores expertos del mundo en IA diciendo que los LLMs no tienen nada de inteligente y que se aproxima otro invierno de la IA debido a sus limitaciones insuperables.
Acéptalo ya, ni los LLMs son deterministas ni vamos a tener una AGI derivada de ellos.
#10 sí, y en unos pocos años cualquiera se podrá hacer sus propios juegos con un par de prompts por lo que las grandes desarrolladoras van a perder una parte muy importante de su negocio.
#30 Se deja el por qué en los comentarios para que posteriormente quien mantenga el código lo sepa (si hace falta, hay mucho código que necesita explicación de por qué).
En el inicio del hilo se hablaba de que las IA expliquen código ya existente (o eso he entendido yo), que lo hacen bien, pero no pueden (ni nadie que no lo haya escrito) decir el por qué, solo pueden elucubrar.
En el caso de que la IA escriba el código, como el caso que tú dices, entonces sí puede explicar por qué hace lo que hace, y de hecho ya lo hace habitualmente, también antes de Antigravity.
#17 Yo estoy hablando exclusivamente de por qué es interesante saber la razón de un código y no el qué hace, y tú me das consejos como si fuese un hater de la IA. Creo que te equivocas de objetivo.
#12 sindicatos presionando al gobierno? debe referirse a otro pais porque en este no suele ocurrir.
y los llms que tenemos ahora no permiten hacer mas con menos, permiten hacer mierda a cambio de un consumo desorbitado de energia y agua que no nos sobra precisamente.
#9 ¿Por que reduce el susto a que las IA les quite el trabajo?
Yo creo que está hace mucho tiempo adormecida y que la amenaza de la IA tampoco la estaba despertando mucho.
Más miedo me dan las IA como motor de sistemas de control, represión y manipulación de la clase trabajadora, que si ya iba perdiendo con las IA aún más
#11 Las IA explican qué hace un código bastante bien, pero lo realmente relevante suele ser por qué un código hace lo que hace de la forma en que lo hace.
Qué hace un código siempre se puede acabar sabiendo leyéndolo (con más esfuerzo que con una IA), el por qué de hizo así no es algo que emane necesariamente del propio código.
#2 Pero también tenemos unos gobernantes que se arrodillan ante EEUU y hacen acuerdos con él aunque sea perjudicial para la UE.
Hasta que la UE no piense sólo en sus propios intereses seguiremos siendo marionetas y pagaremos parte de las fiestas de EEUU.
Los fundamentos matemáticos de los LLMs son deterministas siempre que se calculen de forma secuencial.
Como los LLMs corren en GPUs, y por lo tanto los cálculos no son secuenciales, las matemáticas que los rigen son no deterministas, porque ante un mismo valor de entrada devuelven valores diferentes en cada ejecución.
Y por supuesto que los cálculos se pueden hacer en una CPU, y a mano también se pueden hacer, pero ya te he dicho que es económicamente inviable, y lo ignoras convenientemente para seguir por tu linde y no aceptar la realidad, que es que los LLMs no son deterministas.
Respecto a tus predicciones, llevo un año leyendo en tus comentarios que en un par de meses tendremos AGIs. Vamos, que te crees las ínfulas de Altman y Musk incluso más que ellos mismos, dicho de otra manera, eres más papistas que los papas de la IA, pero sin intereses milmillonarios detrás, y por eso haces el ridículo.
Respecto a que la IA no va a desaparecer, evidentemente Capitán Obviedad. Nadie nunca ha dicho lo contrario. Lo que se dice es que va a pinchar la burbuja de la IA, lo cual es evidente, y cuando eso ocurra van a quebrar muchas empresas, entre ellas OpenAI, y se va a pasar de moda el meterle la etiqueta IA hasta a las lavadoras.
Pero no por ello se van a dejar de usar los LLMs ni mucho menos, si acaso se volverán más caros cuando solo queden las 4 grandes tecnológicas y se acabe la fiesta de la financiación gratuita para el resto. Así que tranquilo, los LLMs seguirán haciéndonos la parte tediosa del trabajo a los programadores y a muchos otros gremios, y las redes sociales seguirán llenas de videos de mierda, eso no va a cambiar aunque pinche la burbuja.
Ahora que ya has medio aceptado que los LLMs no son deterministas, solo te falta aceptar que ni tú ni yo vamos a ver una AGI en la vida, ni mucho menos va a ser derivada de un LLM que falla más que una escopeta de feria, ni de ningún otro modelo de IA basado en estadística, por muy grande que sea. Y aquí seguiré recordándotelo cada vez que vea un comentario tuyo pregonizando lo maravillosos que son LLMs.