Tras despedir a 4000 empleados y automatizar con agentes de IA, los ejecutivos de Salesforce admiten: «teníamos más confianza en los grandes modelos de lenguaje hace un año» [EN]

Salesforce se enfrentó a retos técnicos críticos con los modelos lingüísticos durante su aplicación en el mundo real. Por ejemplo, a pesar de proporcionarle instrucciones claras para enviar encuestas de satisfacción, a veces no se enviaban por razones inexplicables. Cuando se les da a los modelos más de ocho instrucciones, comienzan a omitir directivas, lo que supone un grave defecto para las tareas que dependen de la precisión. Si los usuarios hacen preguntas irrelevantes, los agentes de IA pierden rápidamente el enfoque en sus objetivos.

[#2 Supercinexin]

Defectos que se irán puliendo a lo largo de los próximos meses. El futuro es lo que ha hecho Salesforce, guste o no guste.

[#3 Dragstat]

#2 seguro, pero no con estos modelos. El mayor problema parece ser que se usan modelos no determinísticos para tareas que requieren resultados sistemáticos.

[#10 rojo_separatista]

#3, hace tres años que se va con el cuento de que los LLM no dan más de sí. Sin embargo no han parado de mejorar y negarlo es vivir de espaldas a la realidad.

[#13 tunic]

#10 Que hayan mejorado no quita que sigan siendo no deterministas.

[#16 rojo_separatista]

#13, y para qué quieres que no sean deterministas? Cómo sabes que tu cerebro no lo es?

[#21 troll_hdlgp]

#16 Al revés, necesitan que sean deterministas y no lo son.

[#22 rojo_separatista]

#21, sí son deterministas, lo que no son es previsibles.

[#34 eltoloco]

#22 los LLMs son no deterministas, incluso con temperatura 0:

mbrenndoerfer.com/writing/why-llms-are-not-deterministic

[#35 rojo_separatista]

#34, los fundamentos matemáticos de los LLM son deterministas, esto no es discutible, no es opinable, no tiene sentido debatir sobre ello porque es una verdad fundamental, el autor mezcla conceptos relacionados con la computación paralela y la presición del hardware que afectan a cualquier tipo de software de un determinado grado de complejidad y no solo a los LLM.

[#36 eltoloco]

#35 es tan sencillo como que nada te garantiza que ante un mismo input tengas una misma respuesta, y lo sabe cualquiera que haya trabajado extensivamente con un LLM. Ni siquiera la opción de structured output para obtener respuestas en formato JSON está garantizada y falla de vez en cuando, opción programada por el propio proveedor como OpenAI o Google. Y ya no te digo que el contenido del JSON sea el mismo, por ejemplo un boolean ante una pregunta simple y clara sea siempre true o false, es…   

[#37 eltoloco]

#35 ah, y no, las matemáticas detrás de los modelos de LLMs no son deterministas, porque en las operaciones que hacen las GPUs el orden de los factores sí que altera el producto, y hacerlas secuenciales para garantizar el orden haría que no fuesen rentables, o mejor dicho, que fuesen inviables económicamente, porque rentables no lo son ni lo serán nunca con el ritmo de gasto que llevan. Hay que prestar más atención a lo que lees..

[#38 rojo_separatista]

#37, las matemáticas detrás de los modelos de LLMs no son deterministas.

[#39 eltoloco]

#38 riéte, riéte, que es lo único que te queda ante el ridículo que haces cada vez que niegas lo evidente.

Te lo repito, las matemáticas de los LLMs no son deterministas porque la suma en coma flotante no es asociativa, y como los LLMs se ejecutan en GPUs de forma concurrente los resultados varian entre ejecución y ejecución. Es un hecho irrefutable, que se explica matemáticamente de forma muy simple:

(a + b) + c != a + (b + c)

Con el ejemplo clásico:

a = 10 ^ 16
b = -10 ^ 16
c = 1

(a +…   

[#40 eltoloco]

#38 toma, aquí tienes un croquis donde Rick & Morty te explican porque los LLMs no son deterministas. básicamente lo mismo que he puesto en #39, hecho con IA generativa:

cc #3 #13 #21  

[#41 rojo_separatista]

#39, te lo he explicado en #35, los fundamentos matemáticos se los LLM son deterministas, no es algo discutible, lo que comentas es un problema que tiene cualquier software que corra en cualquier GPU de forma paralela. Si ejecutas un LLM en una CPU, algo técnicamente posible aunque tome mucho tiempo, su comportamiento es determinista.

Esto no afecta a los límites, capacidades y potencial que tengan los LLM modernos y cualquier arquitectura que derive se ellos. Eventualemente un modelo…   

[#42 eltoloco]

#41 te corrijo;

Los fundamentos matemáticos de los LLMs son deterministas siempre que se calculen de forma secuencial.

Como los LLMs corren en GPUs, y por lo tanto los cálculos no son secuenciales, las matemáticas que los rigen son no deterministas, porque ante un mismo valor de entrada devuelven valores diferentes en cada ejecución.

Y por supuesto que los cálculos se pueden hacer en una CPU, y a mano también se pueden hacer, pero ya te he dicho que es económicamente inviable, y lo ignoras…   

[#43 rojo_separatista]

#42, ponme un comentario donde diga que la AGI va a llegar en dos meses. A mi es que la verdad me aburre hablar de AGI porque cada uno le da el significado que le sale de los cojones. A mi me interesa qué pueden hacer los modelos de IA y qué no. Y lo que afirmo y he afirmado siempre es que la mejora va a ser constante y sostenida, la IA no se va a estancar y cada vez será mejor, predicción que se ha cumplido, los LLM daban más de sí cuando hace tres años decíais que no lo harían y seguirán dando más de sí. Los que os pensais que el futuro pasa por algo que no sea IA por un tubo sois los que haceis el ridículo.

[#44 eltoloco]

#43 aqui lo tienes, escrito hace 2 meses:

cuando una IA resuelva una conjetura matemática, algo que ocurrirá en cuestión de meses

www.meneame.net/story/sam-altman-padre-chatgpt-algun-momento-proximos-

¿Cuantos meses más tenemos que esperar? ¿12 meses? ¿48 meses? ¿1200 meses (100 años)?

Ya me veo venir tu respuesta, pegando un enlace a un medio ultra-sensacionalista y click bati estilo Xataka donde el titular diga que Chat GPT ha…   

[#45 rojo_separatista]

#44, y qué demuestras con esto? Que dije en cuestión de meses y han pasado dos meses.

En todo caso si crees que el ritmo de despliegue e implantación de la IA desde que apareció chatGPT es un fracaso, no vale la pena que sigamos discutiendo porque no nos vamos a poner deacuerdo ni en la hora que es.

Lo que está pasando es lo que dije que pasaría, no sería ninguna moda, no desaparecería, se convertiría en una herramienta imprescindible para la mayoría de la gente y no pararía de mejorar. Todo se está cumpliendo y los que decían que los LLM no iban a dar más de sí a la semana de aparecer chatGPT son los que han hecho verdaderamente el ridículo.

[#46 eltoloco]

#45 menudo hombre de paja que te marcas, y no paras de repetir. Nadie nunca ha dicho que los LLMs vayan a desaparecer, ni mucho menos yo, pesado.

Lo dicho, ¿Cuantos meses más tenemos que esperar para una super IA que resuelva problemas matemáticos por si misma? ¿12? ¿48? ¿1200? En serio lo pregunto, yo doy por hecho que unos meses son 3 o 4 meses, 6 máximo, pero viniendo de ti ya me espero cualquier cosa. Especifica y así nos podremos reir un rato..

[#47 rojo_separatista]

#46, llevo por aquí ańos discutiendo con cuñaos que no paran de decir que los LLM se limitan a regurgitar palabras sin sentido.

Mira, para ser sincero, no se ni quien eres, así que no puedo, saber siquiera qué he discutido contigo y qué defendías tú en particular. De lo que sí estoy seguro es de que siempre he dicho lo mismo y la forma en que la IA se está desplegando es exactamente la forma en que pensé que lo haría y los que decían que esto era hype infundado son los que deberían meterse debajo de las piedras.

[#48 eltoloco]

#47 venga, que hasta te he puesto el enlace al hilo donde lo dijiste.. hay que esforzarse un poco más en escurrir el bulto, o sino sigue para adelante dando un plazo más específico para que podamos revisitarlo, porque recular sabemos que no lo vas a hacer, te puede el fanatismo de la IA..

[#4 Un_señor_de_Cuenca]

#2 Yo veo un riesgo, y es que la IA generativa hace el "qué", pero muchas veces no se entiende el "cómo". Si el código empieza a ser generado y mantenido por una IA, en unos pocos meses creo que será muy complicado de entender por parte de un humano. Y ni es buena idea que tu software sea poco supervisable.

[#7 Tensk]

#4 Ya es una idea absurda el que los humanos no comenten su código, y a veces incluso comentado puede ser difícil de corregir, como para que lo haga ina máquina, aue no necesariamenre va a ser el más optimizado, que no va a estar comentado (no como lo haría un humano) y que es "an accident waiting to happen", es decir, que va a haber una cagada antes i después cuando llegue a un error que no sea capaz de corregir. Eso si nos damos cuenta del error.

[#11 rojo_separatista]

#7, de verdad estás diciendo que los humanos comentan el códgio más y mejor que los LLM cuando lo escriben? Mira que he escuchado ideas peregrinas para tratar cuando se habla de lo supuestamente fatal que programa la IA, pero esta creo que se lleva la palma.

[#14 tunic]

#11 Las IA explican qué hace un código bastante bien, pero lo realmente relevante suele ser por qué un código hace lo que hace de la forma en que lo hace.

Qué hace un código siempre se puede acabar sabiendo leyéndolo (con más esfuerzo que con una IA), el por qué de hizo así no es algo que emane necesariamente del propio código.

[#17 rojo_separatista]

#14, haz este experimento. Descárgate Antigarvity, crea un proyecto y pídele a Gemini 3 un
Opus 4.5 que te escriba un programa un poco complejo. Mientars lo hace, en la parte derecha te aparecerá un resumen de lo que va haciendo junto a unas flechitas. Si clicas sobre una de las flechitas verás la cadena de razonamiento asociada a aquella acción y entenderás los pasos que lo han llevado a tal o cual decisión. Es más, si te interesa la trazabilidad de por qué está escrita cada línea de código,…   

[#23 tunic]

#17 Yo estoy hablando exclusivamente de por qué es interesante saber la razón de un código y no el qué hace, y tú me das consejos como si fuese un hater de la IA. Creo que te equivocas de objetivo.

[#25 rojo_separatista]

#23, es que si haces esto sabrás por qué la IA genera el codigo que hace.

[#26 tunic]

#25 Ya, pero una vez generado y comiteado el código esa información se pierde.

[#30 rojo_separatista]

#26, también se pierde con las personas. O acaso tú te acuerdas de por qué escribiste tal o cual línea de código el año pasado? Si lo intentas puedes entender la lógica? Claro que sí, pero también lo puedes hacer con el código que genera la IA.

[#31 tunic]

#30 Se deja el por qué en los comentarios para que posteriormente quien mantenga el código lo sepa (si hace falta, hay mucho código que necesita explicación de por qué).

En el inicio del hilo se hablaba de que las IA expliquen código ya existente (o eso he entendido yo), que lo hacen bien, pero no pueden (ni nadie que no lo haya escrito) decir el por qué, solo pueden elucubrar.

En el caso de que la IA escriba el código, como el caso que tú dices, entonces sí puede explicar por qué hace lo que hace, y de hecho ya lo hace habitualmente, también antes de Antigravity.

[#18 Tensk]

#11 Yo no he dicho eso.

Claro que esa idea se lleva la palma porque es una idea que sólo está en tu cabeza.

[#5 PerritaPiloto]

#2 O no. Su confianza es ahora menor que hace un año. Nada implica que dentro de unos meses no sea aún menor. Y en cuanto a ser el futuro... más bien es el presente. Todo el mundo está trabajando en meter IA en todos sus productos o cambiar empleados por agentes IA.

El tema es que no todas las tareas se automatizan bien con IA, por mucho que mejoren los modelos. Hay algunas cosas que requieren la interacción de un humano o la compresión de un humano. Si tu empresa son agentes de IA ¿cual es…   

[#8 tul]

#2 no van poder, la han cagado bien y les esta explotando en la cara, en un par de meses nos contaran como tuvieron que recular y volver a contratar curritos para hacer la mierda de siempre.

[#12 rojo_separatista]

#8, cuando los sindicatos vayan a presionar al gobierno y sindicatos para reducir la jornada laboral, les tendrán que decir que nada, que tienen razón, que no hay motivos para hacerlo, que la productividad no ha aumentado y que si se redujeran esas cosas la economía se irá a pique.

No se en qué mente pensante entra a la cabeza que el negacionismo de que la tecnología nos permite hacer más con menos es buena para la clase trabajadora.

[#20 tul]

#12 sindicatos presionando al gobierno? debe referirse a otro pais porque en este no suele ocurrir.
y los llms que tenemos ahora no permiten hacer mas con menos, permiten hacer mierda a cambio de un consumo desorbitado de energia y agua que no nos sobra precisamente.

[#9 rojo_separatista]

#2, este tipo de notícias para lo único que sirven es para adormecer la clase trabajadora.

[#15 tunic]

#9 ¿Por que reduce el susto a que las IA les quite el trabajo?

Yo creo que está hace mucho tiempo adormecida y que la amenaza de la IA tampoco la estaba despertando mucho.

Más miedo me dan las IA como motor de sistemas de control, represión y manipulación de la clase trabajadora, que si ya iba perdiendo con las IA aún más

[#24 EGraf]

#2 pero el futuro no era el grafeno?

[#27 Toponotomalasuerte]

#2 yo ya lo comenté por aquí. Pero noto en los últimos meses una caída de rendimiento de la IA. Muchos errores y muchas correcciones que hay que hacer que compensan casi con esa penalización todo el trabajo que te quitan. Y pienso que es algo intencionado. No sé si más gente que se dedica al software tiene la misma sensación. Pero la productividad con I.A. era mucho mayor hace meses que ahora mismo o esa es mi sensación.

[#32 Galero]

#2 Qué vaticinio tan preciso. No puedes estar equivocado.

[#33 verdor]

Si no son capaces de hacer un árbol de decisiones para filtrar la atención al cliente, ya me contarás

[#1 Dragstat]

Relacionada:

www.meneame.net/story/salesforce-despide-mitad-plantilla-soporte-4-000

[#6 Pitufo]

Cuando usas un system prompt extenso, el modelo empieza a perder parte de él al tener que cumplir tantas exigencias simultáneas e irse reduciendo sus alternativas de respuesta, sucede todavía más en modelos que no tienen system prompt si los pones como inicio del contexto.

Han vendido la leche antes de saber ordeñar la vaca, que les den.

[#19 rojo_separatista]

#6, por eso la gente que mejor entienda como descomponer los prompts para pedirle cosas específicas una a una y que las vaya haciendo son los que van a quitar el trabajo a quienes se piensen que si le pasan cuatro páginas con las especificaciones técnicas y no lo hace bien a la primera, la IA generativa es un churro que no sirve para nada.

[#28 chavi]

#19 Entonces es inteligente o tenemos que hacer nosotros el trabajo inteligente?

Son una herramienta. Punto

[#29 rojo_separatista]

#28, cada vez con peores prompts da mejores resultados.

En todo caso, el impacto en la productividad y el mundo laboral que tiene puede tener esto es brutal, çor mucho que nos podamos hechar la tarde filosofando sobre la naturaleza de la inteligencia.