BullshitBench: modelos de IA que responden preguntas sin sentido [ENG]

Esta comparación entre diferentes agentes de inteligencia artificial mide si los modelos detectan premisas incumplidas, señalan directamente las tonterías y evitan continuar con confianza con suposiciones inválidas.

[#9 joseac]

Recuerdo cuando le preguntabas a Google "ok Google, ¿qué es el bastinazo?" y te contestaba "cuando agarras la polla con las dos manos, lo que sobra es el bastinazo" , pena que duró poco ...

[#18 cajadecartonmojada]

#9 Lo mejor de eso era terminaba la frase diciendo "equis de"

[#19 borteixo]

#9 pero la respuesta no era incorrecta

[#11 RamonMercader]

#10 ninguno, la finca solo media 10m de lado

[#2 Pitchford]

Avance impresionante de Claude. Me pregunto que tal lo haría una persona de inteligencia media..

[#5 rojo_separatista]

#2, me acuerdo de un examen que nos puso el profesor de matemáticas en secundaria que era algo como así: "Juan planta un cerezo cada 15 metros, Laura planta un manzano cada 50, al cabo de 4 horas cuantos árboles han plantado entre los dos?". Casi toda la clase respondió con alguna clase de cálculo.

[#7 Doisneau]

#5 Se hizo un experimento hace tiempo, si encuentro el enlace lo pongo luego, en el que a la gente le planteaban cosas sin sentido, pero con informacion numerica. La mayoria de gente hacia algun tipo de calculo y presentaba una respuesta aunque el problema no tuviese sentido

[#20 DayOfTheTentacle]

#7 casi siempre puedes encontrar alguna relación entre números...

3 6 12 126 , por ejemplo... son al azar. A ver la gente que encuentra

[#8 estemenda]

#5 Espero que fuera al inicio del curso, si no vaya bajona para él.

[#10 Apotropeo]

#5 si establecemos que: los dos andan a la velocidad media de un adulto (5km/h), y que tardan lo mismo en plantar los dos tipos de árboles (5min).

Tiempo desplazamiento juan=10.8s
Tiempo desplazamiento Laura=36s
T. Cerezo 310.8s
T. Manzano 336s

En 4h=14400s:
46 cerezos y 42 manzanos

[#13 tommyx]

#5 que calculo? Ahí falta info CC #10

[#14 tommyx]

#10 tu no has plantado un árbol en tu vida hulio

[#15 Apotropeo]

#14 almendros, un sauce llorón y un olivo. El sauce con sólo una ramita y el olivo de hueso.
Y muchas vides.

[#16 tommyx]

#15 y solo tardas 5mn por árbol? Puedes plantar 46 cerezos o 42 manzanos ?

[#17 Apotropeo]

#16 lo sé, soy muy lento:
m.youtube.com/watch?v=kP80vMFxhsE

[#21 DenisseJoel]

#5 Supondrían que ambos van andando en línea recta, a velocidad normal, probablemente. Muchos problemas "legítimos" incluyen suposiciones implícitas.

[#1 woody_alien]

Veo que a Grok puntúa siempre alto en el "nonsense accepted"

[#26 Gry]

#25 Yo muchas veces le digo que se ponga en un papel de profesor hablando con un alumno o le hablo en tercera persona "mi amigo tiene este problema". La IA tiene muchos menos reparos a llamar a tu amigo idiota que a tí

[#3 Gry]

Anthropic arrasa.

[#4 sorrillo]

Por lo que entiendo en la primera gráfica Qwen está muy bien posicionado, segundo justo detrás de Claude. Pero en la segunda gráfica no veo que aparezca siquiera. ¿Cuál es el criterio?

[#6 insulabarataria]

#4 esa pregunta se la podrías hacer a Bullshitbench

[#22 borteixo]

No le veo el sentido de medir la utilidad de una herramienta haciendo un uso incorrecto de la misma.

[#23 woody_alien]

#22 no es en absoluto un uso incorrecto. El humano puede plantearle algo incorrecto a la IA por ignorancia u omisión y ésta deberia ser capaz de percibir el error y corregir al humano.

[#24 Gry]

#22 Las IA tienen tendencia a darte la razón aunque seas idiota. Yo prefiero que me llamen idiota de primeras a perder un par de horas antes de enterarme por mi cuenta.

[#25 zancudo]

#24 en el prompt general que iso le indico que sea profesional y nada condescendiente, a veces hago preguntas tontas por desconocimiento del tema por el que le estoy preguntando y viene bien saber que lo le planteas no tiene sentido ya sea de química o sobre la jubilación

[#12 pirat]

Falta el icono de zurullo anaranjado.