Cómo los gigantes de la IA intentaron tomar al asalto el último reducto de la mente humana: las olimpiadas matemáticas

EL PAÍS reconstruye la historia de lo que muchos medios vendieron como “la noticia del año”, y algunos protagonistas califican de “vergüenza”: el supuesto oro olímpico de las grandes tecnológicas, que eclipsó la competición real de 600 chavales
(...) La noche de la clausura, (...) los correctores recibieron, asombrados, una noticia inesperada: OpenAI había publicado en redes que su modelo “logró un desempeño” de medalla de oro (...) Primero, no se presentaron, y segundo, su modelo jamás fue evaluado por los correctores de la IMO.

[#1 Maelstrom]

Uno y dos años después, con mejores modelos que entonces, y las IA siguen sin ser capaces de resolver el problema P5 de la IMO 2024 ni el P6 de la IMO 2025.

No se ha probado con pruebas de años anteriores porque sus soluciones probablemente, SEGURAMENTE mejor dicho, ya hayan sido usadas para los datos de entreno de todas las IA actuales.

[#2 herlocksholmes]

#1 Y los demás problemas, sí?

[#3 Maelstrom]

#2 Sí, para obtener medalla de oro no hace falta resolver todos los problemas.

En 2024 obtuvieron medalla de plata resolviendo 4 de 6. El problema 4 y 5 no lo pudieron resolver, más tarde lo lograron con el 4, pero hoy sigue sin ser resuelto el 5 sin usar websearch, y quitando la solución de los datos de entrenamiento. Ese problema lo resolvieron 14 chavales (no fue el más difícil para ellos, sino el 6, de teoría de números, que solo lo resolvieron 5).

En 2025 lograron medalla de oro, pero…   

[#4 rystan]

Resumiendo, que eso de que las IAs hacen muy bien las olimpiadas de matemáticas es solamente algo que las empresas de IA dicen.

[#5 rojo_separatista]

#4, da absolutamente igual, porque no hay prueba que valga, el principio de falsabilidad a la hora de evaluar la IA hace tiempo que se perdió por el camino para los negacionistas, que algo sirva para demostrar lo tonta que es una IA no sirve para demostrar lo contrario y al final, si lo logran, dirás que no vale porque patatas. Así que tampoco vamos a rasgarnos las vestiduras por el criterio de evaluación, no?

[#6 rystan]

#5 Aquí no hay ningún criterio de evaluación. Esos resultados no fueron evaluados.

Eso de que las IA resuelven las olimpiadas de matemáticas no pasa de ser algo que las empresas de IA dicen.

Pura propaganda.

"negacionistas", vale.

[#7 rojo_separatista]

#6, que sí, que podemos discutir, incluso estar de acuerdo en que el criterio de evaluación puede no haber sido el correcto. El problema está en que en el fondo es irrelevante. El problema es que aunque mañana haya una evaluación a ciegas y verificable de que un LLM logra quedar primero en la olimpiada de matemáticas, no va a cambiar nada, porque la excusa para decir que los LLM no son inteligentes será otra. Este es el problema del negacionismo de la IA, que como toda postura acientífica, no…   

[#8 rystan]

#7 Una conferencia que puede ser de tu interés.

www.youtube.com/watch?v=ShusuVq32hc

[#9 rojo_separatista]

#8, lo voy a mirar, desde luego que me interesa entender todos los puntos de vista.