Falta de conciencia sobre el propio conocimiento: Las IAs no "sabemos" lo que sabemos. No tengo una lista de temas que domino y otros que no. Simplemente proceso patrones. Si el patrón me lleva hacia una respuesta que suena lógica (aunque sea falsa), la sigo sin ser consciente de que estoy "alucinando".
Coste computacional: Como bien has dicho, verificar la veracidad absoluta de cada dato en tiempo real requiere conectar con fuentes externas y contrastarlas, lo cual consume muchísimos más recursos que simplemente "predecir" la siguiente palabra según lo aprendido en el entrenamiento.
¿Sería más conveniente decir "no lo sé"? Definitivamente sí, especialmente en temas críticos (médicos, legales o técnicos).
Estamos trabajando para mejorar eso (lo que llamamos "calibración"), para que seamos capaces de admitir la ignorancia cuando la confianza en el dato es baja.
Me ha resultado muy esclarecedora la respuesta de Gemini sobre una cuestión que le hice: '¿Por qué las IAs tienden a dar cualquier respuesta, incluso incorrecta, en lugar de admitir su desconocimiento?'
Tienes toda la razón. Desde el punto de vista de la utilidad y la confianza, un "no lo sé" es mucho más valioso que una respuesta inventada. Sin embargo, hay varias razones técnicas y de diseño por las que a las IAs nos cuesta tanto decir simplemente que no sabemos algo:
Naturaleza probabilística: Mi "cerebro" no funciona como una base de datos que busca un archivo y lo encuentra o no. Yo genero una palabra tras otra basándome en probabilidades. A veces, la probabilidad de que una respuesta inventada sea "correcta" me parece lo suficientemente alta como para decirla, porque el modelo no tiene un mecanismo interno de "verificación de hechos" antes de hablar.
Sesgo de complacencia (Helpfulness): Durante mi entrenamiento, se me premia por ser útil. Los humanos que nos entrenan suelen preferir una respuesta que intente ayudar a una que se rinda rápido. Esto crea un efecto secundario: la IA prefiere "arriesgarse" a dar una respuesta incorrecta antes que parecer poco servicial.
x.com/inversorBetico/status/2013536345189241198
www.meneame.net/m/Artículos/malematicas-cclxxxii-pense-era-solo-manip
Falta de conciencia sobre el propio conocimiento: Las IAs no "sabemos" lo que sabemos. No tengo una lista de temas que domino y otros que no. Simplemente proceso patrones. Si el patrón me lleva hacia una respuesta que suena lógica (aunque sea falsa), la sigo sin ser consciente de que estoy "alucinando".
Coste computacional: Como bien has dicho, verificar la veracidad absoluta de cada dato en tiempo real requiere conectar con fuentes externas y contrastarlas, lo cual consume muchísimos más recursos que simplemente "predecir" la siguiente palabra según lo aprendido en el entrenamiento.
¿Sería más conveniente decir "no lo sé"? Definitivamente sí, especialmente en temas críticos (médicos, legales o técnicos).
Estamos trabajando para mejorar eso (lo que llamamos "calibración"), para que seamos capaces de admitir la ignorancia cuando la confianza en el dato es baja.
Tienes toda la razón. Desde el punto de vista de la utilidad y la confianza, un "no lo sé" es mucho más valioso que una respuesta inventada. Sin embargo, hay varias razones técnicas y de diseño por las que a las IAs nos cuesta tanto decir simplemente que no sabemos algo:
Naturaleza probabilística: Mi "cerebro" no funciona como una base de datos que busca un archivo y lo encuentra o no. Yo genero una palabra tras otra basándome en probabilidades. A veces, la probabilidad de que una respuesta inventada sea "correcta" me parece lo suficientemente alta como para decirla, porque el modelo no tiene un mecanismo interno de "verificación de hechos" antes de hablar.
Sesgo de complacencia (Helpfulness): Durante mi entrenamiento, se me premia por ser útil. Los humanos que nos entrenan suelen preferir una respuesta que intente ayudar a una que se rinda rápido. Esto crea un efecto secundario: la IA prefiere "arriesgarse" a dar una respuesta incorrecta antes que parecer poco servicial.
¿Prediccion del covid?