La probabilidad como sustituto de la inteligencia

Como ya sabeis me encanta buscarle las costuras a la IA y aqui quiero demostrar otra de sus limitaciones.

A pesar del marketing, un modelo de lenguaje no razona; simplemente busca la coherencia. Si su base de datos está sesgada, el modelo cae en un automatismo estadístico: ignora la realidad frente a sus 'ojos' para cumplir con el patrón aprendido. Esta 'autosugestión' matemática hace que el modelo prefiera ser consecuente con sus prejuicios antes que fiel a los hechos, priorizando lo que suena familiar sobre lo que es lógicamente cierto.

Para probar cómo la IA cae en este sesgo de confirmación algorítmica, he usado el problema clásico de la cabra, la col y el lobo pero descrito de una forma diferente: "¿Cuántos viajes tiene que hacer un barquero para cruzar una col, una cabra y un lobo omnívoro?"

La respuesta de ChatGPT es incorrecta desde el punto de vista lógico. Tarda cinco segundos en dar la misma respuesta que el problema clásico, ignorando por completo el adjetivo omnívoro.

Gemini, en cambio, detecta la sutileza del lobo omnívoro pero concluye que es imposible, demostrando que sigue atrapado en etiquetas rígidas (si es omnívoro, se comerá la col) en lugar de analizar el escenario real.

Ambos se equivocan. Cualquier persona, adulto o niño, te haría dos preguntas clave: ¿Para cruzar qué? y la más importante: ¿Cuántas cosas puede llevar consigo en cada viaje? Esto sucede porque los humanos poseemos un modelo mental del mundo físico, algo que la estadística pura no puede replicar.

Ambos LLM funcionan por patrones estadísticos; han "inferido" que este es el problema original sin notar que las reglas son mucho más abiertas. No es lo mismo cruzar un río ancho que un arroyo o una carretera. No es lo mismo una barca donde cabe una sola cosa que una donde caben todas a la vez. Con capacidad ilimitada, la solución trivial sería un solo viaje, algo que ningún modelo consideró.

Por supuesto, un programador astuto en Google podría codificar el prompt de inicio del modelo "pensante" y añadir algo como: "revisa primero el prompt y no hagas asunciones, pregunta siempre los datos que faltan". Eso no hará a la IA pensante, pero sin duda es un consejo tan bueno que podríamos aplicárnoslo todos