El colapso de los modelos es un proceso degenerativo que afecta a las generaciones de modelos generativos aprendidos, en el que los datos que generan acaban contaminando el conjunto de entrenamiento de la generación siguiente. Al ser entrenados con datos contaminados, perciben erróneamente la realidad. El proceso se representa en la Fig. 1a. Separamos dos casos especiales: el colapso temprano del modelo y el colapso tardío del modelo. En el colapso temprano del modelo, éste empieza a perder información sobre las colas de la distribución; en el
Comentarios
Garbage in, Garbage out.
Si se alimenta mal a la IA los datos que saldrán serán erroneos.
Creo que esto se descubrió en los años 70 cuando se empezó con los primeros modelos de redes neurales.
La versión IA del bucle infinito.
Pues nada, a buscar soluciones, como se ha hecho toda la vida.
#1 Supongo que ahora los contenidos generados por humanos serán más valiosos, esto dará pie a mercados de contenidos, a veces legales y regulados con beneficios a los creadores (o sin ellos si no leen la letra pequeña), otras veces robados, mercados ilegales,...
toda funcion recursiva deberia empezar con una condicion de fin de recursion... sino.. stackoverflow!
¿Quién iba a hacer esa ridiculez? La IA se entrenan con datos de alta calidad
#4 La IA se entrena con cantidades enormes de textos sacados de internet. Pero según internet se va llenando de textos generados por IA, al final lo que tienes es una retroalimentación.
#8 Por eso creo que con el tiempo la IA dejará de entrenarse con textos de internet y empezará a entrenarse con los audios de nuestras voces charlando con la propia IA. Las IAs aprenderán como los niños, a base de interaccionar con el mundo y preguntar a los humanos cuando tengan dudas.
#4 Para nada, en la lucha de calidad o cantidad ha ganado de goleada la cantidad, las IA con una cantidad ingente, que es humanamente imposible verificar su calidad, han dado muchísimos mejores resultados que las IA que se han entrenado con datos debidamente verificados por humanos.
#10 #9 hasta ahora, pero eso irá cambiando según se vaya llenando la red de mierda
#4 la IA ha avanzado lo que ha avanzado básicamente gracias al poder de computación de ingentes cantidades de datos. No porque sea "mejor" en calidad. Se trata de cantidad.
#4 Se entrena con lo que hay. Hace falta un volumen de datos enorme, y no existe ninguna fuente enorme de datos de calidad.
#11 sí existe, libros
#19 Ya han metido todos los libros que han podido, sigue sin ser enorme. Ten en cuenta que la inmensa mayoría del texto producido por seres humanos no está en libros.
Mi experiencia con chatGPT es que cada vez va peor. Igual esa es la explicación
10 GOTO 10
Que gracia. La falta de ética a la hora de devorar todo el contenido a bulto, tenga o no derechos de autor o simplemente sin haber preguntado su opinión a los autores ha hecho que, al no crear un sistema de selección, se retroalimente y acaba en una especie de contenido endogámico. La IA mañana será borbona
Por eso se invierten tantísimos recursos en verificaciones manuales y el entrenamiento que está teniendo buenos resultados es el entrenamiento guiado.
Por ejemplo, Amazon, con la idea de automatizar con IA los supermercados tuvo que poner a mil trabajadores a mirar todo lo que hacían los compradores, etiquetando la información y así consiguiendo suficientes datos verificados para que sus IA funcionaran correctamente en un futuro.
Pero fue tan caro que al final lo cancelaron
https://hipertextual.com/2024/04/las-tiendas-de-amazon-no-son-tan-inteligentes-funcionan-con-miles-de-personas-vigilando-a-traves-de-camaras
Tantos 'estudios' para descubir que la copia de una copia de una copia de un cassette se escucha como el culo...
Es lógico. Para que una IA sea capaz de entrenar de forma recursiva tienen que tener alguna manera de valorar el output.
En el caso del ajedrez, mejora sin problemas con entrenamiento recursivo porque valorar el output es simple: la configuración que gana más partidas es mejor. ¿Pero como valoras un texto? El problema clave está en la valoración. Si la IA no tiene manera de valores que textos son mejores y cuales peores, no sabe hacia donde ir.
la gracia viene de que han usado internet para entrenar la ia y ahora medio internet se esta escribiendo usando ia...
#3 y ahora medio internet se esta escribiendo usando ia...
Aunque con cierto filtro humano, en sitios que aún quieren mantener la reputación la IA se usa como asistente, un humano elige entre las distintas respuestas o pide otro redactado o corrige los errores que detecta, por lo que lo que acaba publicado es una de las mejores versiones de lo que la IA puede contestar.
#6 habra quien lo haga, tambien hay quien no lo hace y se le cuelan cosillas como el "copy to clipboard" o "El texto debe terminar señalando que tal vez estos problemas compensen el haber creado una obra e culto, pero ahora será difícil que dejes de pensar RoboCop en calzoncillos cada vez que veas la película".
https://www.3djuegos.com/tv-series/noticias/escena-muy-sencilla-al-equipo-robocop-le-costo-50-tomas-hacerlo-correctamente-asi-incomodo-era-traje-peter-weller
sea buena o mala, si la version publicada se puede identificar como detectada por ia, causara problemas a las siguientes generaciones a menos que consigan evitarlo.