El impacto de los LLM en la ciencia: publicaciones en auge, calidad estancada [eng]

Cuando los investigadores recurren a los LLM, el número de artículos aumenta, pero no su calidad.

[#1 ombresaco]

Siempre se ha dicho que la inteligencia de la humanidad es constante, mientras la población aumenta...

Ya en serio... ¿por qué debería aumentar la calidad?
Si yo hago un estudio, la calidad será la misma si la hago a mano, con calculadora, con hojas de cálculo o me lo programo hasta la última línea

[#2 Torrezzno]

#1 But the dynamic was completely different for LLM-produced papers. The complexity of language in papers written with an LLM was generally higher than for those using natural language. But they were less likely to end up being published. “For LLM-assisted manuscripts,” the researchers write, “the positive correlation between linguistic complexity and scientific merit not only disappears, it inverts.”


La calculadora no te escribe un paper entero

[#3 ombresaco]

#2 Pues entonces no se ha estancado, sino que se reduce... Haber si el titular lo a hescribido un LLM...

[#4 Torrezzno]

#3 lo explica, de nuevo, el artículo. La calidad entendida como el número final que se publica respecto al que se envía se ha estancado

[#7 ombresaco]

#4 ¿Eso quiere decir que la calidad inicial es más alta y hay menos margen para mejorar? ¿Y eso es malo? Pero vamos, eso no es lo que da a entender el titular

[#5 ombresaco]

También dice algo interesante:

This effect was likely to be most pronounced in people that weren’t native speakers of English. If the researchers limited the analysis to people with Asian names working at institutions in Asia, their rate of submissions to bioRxiv and SSRN nearly doubled once they started using AI and rose by over 40 percent at the arXiv. This suggests that people who may not have the strongest English skills are using LLMs to overcome a major bottleneck: producing compelling…   

[#6 ChatGPT]

Pero luego no uses llm en el instituto o la universidad, que te suspenden. Y a estos?

[#8 ombresaco]

#6 lógico, si estás aprendiendo.

En primaria no te dejan usar calculadora, porque el objetivo es aprender a calcular. De la misma forma en que los informáticos se tienen que programar algunas cosas para no usarlas más porque otros las han hecho mejor. Pero más adelante, sin problema, porque el objetivo no es el aprendizaje, sino el resultado.

[#9 canduteria]

Este artículo solo con el titular yagves que lo tiene claro cuando llama al bluff por su nombre llm y no la gilipollez de IA, donde hay i.