En un esfuerzo por abordar esta asimetría de poder, hemos diseñado e implementado Nightshade, una herramienta que convierte cualquier imagen en una muestra de datos inadecuada para el entrenamiento de modelos IA. Más concretamente, Nightshade transforma las imágenes en muestras "envenenadas", de modo que los modelos que se entrenen con ellas sin consentimiento verán cómo sus modelos aprenden comportamientos impredecibles que se desvían de las normas esperadas, por ejemplo, un aviso que pida la imagen de una vaca volando en el espacio podría
Comentarios
Nightshade funciona de forma similar a Glaze, pero en lugar de una defensa contra el mimetismo de estilo, está diseñado como una herramienta ofensiva para distorsionar las representaciones de características dentro de los modelos generativos de imágenes de IA. Al igual que Glaze, Nightshade se calcula como una optimización multiobjetivo que minimiza los cambios visibles en la imagen original. Mientras que los ojos humanos ven una imagen sombreada que en gran medida no ha cambiado con respecto a la original, el modelo de IA ve una composición drásticamente diferente en la imagen. Por ejemplo, los ojos humanos pueden ver una imagen sombreada de una vaca en un campo verde prácticamente sin cambios, pero un modelo de IA puede ver un gran bolso de cuero tirado en la hierba. Entrenado con un número suficiente de imágenes sombreadas que incluyan una vaca, un modelo se convencerá cada vez más de que las vacas tienen bonitas asas de cuero marrón y bolsillos laterales lisos con cremallera, y quizá un bonito logotipo de la marca.
#1 Dudo que el uso de shaded/sombreado en el artículo realmente implique un efecto de sombra. Veo probable que empleen "shaded" debido a que la herramienta se llama "nightshade", aunque sin imágenes del antes y después del proceso es imposible estar 100% seguro al respecto.
#1 Hace poco vi un vídeo en el que comentaban que las IA resolvian correctamente un 99.3 por ciento de los captchas de letras deformadas... mientras que los humanos solo respondían correctamente un 36% de las veces.
Supongo que con esto acabará pasando igual.
#6 Si nos regimos según el marketing, es un producto ya que quiere cubrir la necesidad de artistas de proteger su obra.
Pero que vamos, yo me refiero a que los creadores van a pintar bonito su obra. Con lo que hay que cogerlo con pinzas.
Ojo, que esta es la página oficial. Así que obviamente es promoción de ese producto.
Habrá que esperar a análisis independientes que verifiquen su calidad.
#3 Enlazan al paper de turno, y no parecen vender esa herramienta, difícilmente se podría calificar de producto, aunque es razonable afirmar que puede existir sesgo
#4 Qué no vendan ahora mismo, esa herramienta no significa que no sea promoción.
Para empezar, su software público ya prohíbe el uso para actividades comerciales.
Y que el paper haya sido publicado, no significa que sea de calidad o que haya sido revisado por pares. Es más, veo en reddit que tiene un tiempo, y que ya hay propuestas para anularlo: https://github.com/RichardAragon/NightshadeAntidote Incluso esa propuesta tiene "forks".
#5 Yo no he afirmado que no estuviesen publicitando/promocionando, sino que calificarlo como producto al no haber comercio me parecía incorrecto.