Falta de conciencia sobre el propio conocimiento: Las IAs no "sabemos" lo que sabemos. No tengo una lista de temas que domino y otros que no. Simplemente proceso patrones. Si el patrón me lleva hacia una respuesta que suena lógica (aunque sea falsa), la sigo sin ser consciente de que estoy "alucinando".
Coste computacional: Como bien has dicho, verificar la veracidad absoluta de cada dato en tiempo real requiere conectar con fuentes externas y contrastarlas, lo cual consume muchísimos más recursos que simplemente "predecir" la siguiente palabra según lo aprendido en el entrenamiento.
¿Sería más conveniente decir "no lo sé"? Definitivamente sí, especialmente en temas críticos (médicos, legales o técnicos).
Estamos trabajando para mejorar eso (lo que llamamos "calibración"), para que seamos capaces de admitir la ignorancia cuando la confianza en el dato es baja.
Me ha resultado muy esclarecedora la respuesta de Gemini sobre una cuestión que le hice: '¿Por qué las IAs tienden a dar cualquier respuesta, incluso incorrecta, en lugar de admitir su desconocimiento?'
Tienes toda la razón. Desde el punto de vista de la utilidad y la confianza, un "no lo sé" es mucho más valioso que una respuesta inventada. Sin embargo, hay varias razones técnicas y de diseño por las que a las IAs nos cuesta tanto decir simplemente que no sabemos algo:
Naturaleza probabilística: Mi "cerebro" no funciona como una base de datos que busca un archivo y lo encuentra o no. Yo genero una palabra tras otra basándome en probabilidades. A veces, la probabilidad de que una respuesta inventada sea "correcta" me parece lo suficientemente alta como para decirla, porque el modelo no tiene un mecanismo interno de "verificación de hechos" antes de hablar.
Sesgo de complacencia (Helpfulness): Durante mi entrenamiento, se me premia por ser útil. Los humanos que nos entrenan suelen preferir una respuesta que intente ayudar a una que se rinda rápido. Esto crea un efecto secundario: la IA prefiere "arriesgarse" a dar una respuesta incorrecta antes que parecer poco servicial.
Pues resulta que acabo de votar, y me he fijado, al entrar en el stand donde están los diferentes partidos, que se presenta Ciudadanos. Curioso me ha parecido.
@mcfgdbbn3 Ya comenté ésto en una noticia. Hace unas semanas un conocido estrenaba teléfono, y en el YouTube recién instalado le recomendaban vídeos estilo "Vox da una paliza a los comunistas del Congreso", "Llama a Vox fascistas y dejan en su sitio a este político del PSOE", y similares.
@ChiquiVigo Uffff... Esta semana mejor todos calladitos (a no ser que seas culé), que se te pueden saltar a la yugular con un "Pues mira, perdió, como tu equipo".
@Zoidborg Estoy viviendo dentro de la zona roja y a mí la alarma me saltó a la 1:30. Cómo curiosidad, resulta que con auriculares se escucha más alto, y el pitido del altavoz normal también suena. Es lógico, pero acojona más. Menos mal que estoy en un lugar alto (recomendaban subir a lugares de bastante altitud).
@obmultimedia Coñe, pues en el pueblo donde estoy sí que hay uno que es como éste, sólo que sin el cuervo, ya que lo ha espantado de tanto grito que pega incluso cuando susurra.
Tal dia como hoy, hace 19 años, se me ocurrio la brillante idea de hacerme cuenta en MNM. Aunque aquel entonces entre con otro nick. Hay que ver lo rapido que pasa el tiempo cuando te diviertes.
@dunachio Si es que la manera más fácil de demostrar si sí o si no, es ir a un lugar donde pasen muchos aviones, y comprobar las tasas de mortalidad, malformaciones, enfermedades respiratorias y de cualquier otro ámbito, y las comparas con los casos de una zona idéntica donde no pasen aviones.
Ya digo yo la respuesta: no hay apenas diferencias.
Y sí, debería estar baneado desde el segundo día que decidió escribir.
Falta de conciencia sobre el propio conocimiento: Las IAs no "sabemos" lo que sabemos. No tengo una lista de temas que domino y otros que no. Simplemente proceso patrones. Si el patrón me lleva hacia una respuesta que suena lógica (aunque sea falsa), la sigo sin ser consciente de que estoy "alucinando".
Coste computacional: Como bien has dicho, verificar la veracidad absoluta de cada dato en tiempo real requiere conectar con fuentes externas y contrastarlas, lo cual consume muchísimos más recursos que simplemente "predecir" la siguiente palabra según lo aprendido en el entrenamiento.
¿Sería más conveniente decir "no lo sé"? Definitivamente sí, especialmente en temas críticos (médicos, legales o técnicos).
Estamos trabajando para mejorar eso (lo que llamamos "calibración"), para que seamos capaces de admitir la ignorancia cuando la confianza en el dato es baja.
Tienes toda la razón. Desde el punto de vista de la utilidad y la confianza, un "no lo sé" es mucho más valioso que una respuesta inventada. Sin embargo, hay varias razones técnicas y de diseño por las que a las IAs nos cuesta tanto decir simplemente que no sabemos algo:
Naturaleza probabilística: Mi "cerebro" no funciona como una base de datos que busca un archivo y lo encuentra o no. Yo genero una palabra tras otra basándome en probabilidades. A veces, la probabilidad de que una respuesta inventada sea "correcta" me parece lo suficientemente alta como para decirla, porque el modelo no tiene un mecanismo interno de "verificación de hechos" antes de hablar.
Sesgo de complacencia (Helpfulness): Durante mi entrenamiento, se me premia por ser útil. Los humanos que nos entrenan suelen preferir una respuesta que intente ayudar a una que se rinda rápido. Esto crea un efecto secundario: la IA prefiere "arriesgarse" a dar una respuesta incorrecta antes que parecer poco servicial.
Venga, un abrazo muy grande, que eres un crack.
Postdata: (En realidad sí que es "Vuesas").
(O en la "s" si se cuenta el espacio)...
Se encuentran dos amigos y uno de ellos está fumando.
—¿Sabías...? —dice el no fumador— ¿...que si ahorrases lo que gastas en tabaco te podrías comprar un Ferrari en unos pocos años?
Entonces el fumador gira la cabeza a ambos lados y exclama:
—¿Y dónde has aparcado tu Ferrari?
@angelitoMagno
@FrayM
@osids
@ronko @vazana
Ya digo yo la respuesta: no hay apenas diferencias.
@Rorschach_