En un estudio reciente, chatbots de IA recibieron puntuaciones medias más altas que humanos en la Tarea de Usos Alternos (AUT), usada para evaluar creatividad humana. Pidieron a 3 chatbots (ChatGPT, GPT-4, Copy.Ai) proponer el mayor número de usos para 1 cuerda, 1 caja, 1 lápiz y 1 vela en 30 segundos. Cada chatbot se probó 11 veces con cada objeto, y lo mismo 256 humanos. Las respuestas de chatbots se calificaron con mejor media, pero las humanas mejor puntuadas fueron superiores. [Paper: https://www.nature.com/articles/s41598-023-40858-3 ]
Me lo temía, el artículo no concreta en qué se basa para afirmar que los LLM no son creativos. Y lo de que el superar un test no significa que lo sean también es de risa.
Si no eres capaz de plantear un prueba, objetiva y medible para evaluar el comportamiento de un modelo en comparación al de los humanos, mejor que te vayas a la iglesia a predicar tus ideas, porque en ciencia, desde hace 500 años, las afirmaciones tienen que ir acompañadas de una demostración empírica. Si yo digo que un IA razona y adjunto un test de razonamiento que es capaz de superar, tu debes proponer un test que lo refute, no basta que esto vaya en contra de tus creencias más profundas.
#2 Yo entendí que la IA sacó mejor media, aunque las más creativas fueron humanas. Para mí toda esta fiebre actual por la inteligencia nos puede llevar, nos debería, a cuestionar qué entendemos por inteligencia, o por creatividad. Pienso (es sólo opinión) que sobrevaloramos nuestras capacidades, en general, y compararnos con las máquinas es interesante para entendernos mejor, sin la subjetividad que inevitablemente da la comparación.
Me recuerda una frase de "I Robot"(la peli) en la que el policía critica al robot porque no puede pintar los Girasoles como Van Gogh o decorar la Capilla Sixtina, "¿tú si puedes?" le replica la máquina.
¿Que haya existido Newton, o Einstein nos hace (más) inteligentes?
Comentarios
Me lo temía, el artículo no concreta en qué se basa para afirmar que los LLM no son creativos. Y lo de que el superar un test no significa que lo sean también es de risa.
Si no eres capaz de plantear un prueba, objetiva y medible para evaluar el comportamiento de un modelo en comparación al de los humanos, mejor que te vayas a la iglesia a predicar tus ideas, porque en ciencia, desde hace 500 años, las afirmaciones tienen que ir acompañadas de una demostración empírica. Si yo digo que un IA razona y adjunto un test de razonamiento que es capaz de superar, tu debes proponer un test que lo refute, no basta que esto vaya en contra de tus creencias más profundas.
Habría que ver si la obtenida por personas significa que sí son creativas.
Como alguien dijo, los griegos ya escribieron todas las historias.
#1 El artículo dice que las personas que respondieron bien sus calificaciones fueron superiores a las de las IAs.
Edito: eso me pareció entender.
#2 Yo entendí que la IA sacó mejor media, aunque las más creativas fueron humanas. Para mí toda esta fiebre actual por la inteligencia nos puede llevar, nos debería, a cuestionar qué entendemos por inteligencia, o por creatividad. Pienso (es sólo opinión) que sobrevaloramos nuestras capacidades, en general, y compararnos con las máquinas es interesante para entendernos mejor, sin la subjetividad que inevitablemente da la comparación.
Me recuerda una frase de "I Robot"(la peli) en la que el policía critica al robot porque no puede pintar los Girasoles como Van Gogh o decorar la Capilla Sixtina, "¿tú si puedes?" le replica la máquina.
¿Que haya existido Newton, o Einstein nos hace (más) inteligentes?