Hace 4 meses | Por xantal a xataka.com
Publicado hace 4 meses por xantal a xataka.com

Las imágenes excesivamente inclusivas generadas por Gemini han provocado desconfianza en la calidad y fiabilidad de sus modelos de IA. 90.000 millones. Como indican en Forbes, las acciones de Google cayeron un 4,5% en bolsa el lunes hasta los 138,75 dólares, su valor más bajo desde el 5 de enero. Esta ha sido la segunda caída diaria más importante de sus acciones en lo que va del año, y el impacto en la valoración bursátil es tremendo: ha perdido 90.000 millones de dólares de un día para otro.

Comentarios

x

#1 han provocado desconfianza en la calidad y fiabilidad de sus modelos de IA

Robus

#2 "a cuatro garrulos que han gritado mucho" - falta añadir. roll

La bolsa no va de lo que vale una empresa o de sus posibilidades, va de especular y una mala noticia hace que los especuladores salten, independientemente de si eso implica algo en su cuenta de resultados, que no creo que se vea afectada en lo más mínimo.

mikelx

#17 Personalmente la IA generativa de google es un monton de mierda moralista que no sirve para usos reales ya que pinta lo que le apetece y le parece adecuado (segun su moral USAna) en lugar de lo que se le pide.

Gol_en_Contra

#2 Yo no entiendo nada de esto bursátil

¿A quién tiene que pagarle Google 90.000M de dólares?

CC/ #11

Gadfly

#1 ah, no?

paumal

#1 cómo dices? El valor en bolsa es lo que permite financiarse a una empresa. Si tu argumento es en plan "no es dinero real porque patatas", espero que lo digas contando las monedas de oro con las que te han pagado tú última nómina, mientras las guardas bajo el colchón...

D

#11 No, el valor en bolsa NO es lo que permite financiarse a una empresa.

Robus

#11 Me parece que esto no va así... o al menos no va así si no se dedican a hacer ampliaciones de capital, y, que yo sepa, Google no ha hecho nunca ninguna.

Enésimo_strike

#6 significa que el tenedor tiene participaciones de algo que vale menos dinero, pero alguna mágica razón eso no es perder dinero.

Heni

#16 Significa que la empresa, en este caso Google, no tiene esas participaciones pero el titular da a entender que es Google quien pierde ese dinero cuando son los que tienen participaciones de Google, gran matiz.... recurso falaz muy usado en este tipo de noticias

d

Entrenaron a su AI con datos woke y, claro, ahora da resultados woke. Garbage in, garbage out.

En el momento de ponerlo en producción era imposible hacerle generar la imagen de una persona de raza blanca. Al menos esto no es racista porque no se puede ser racista contra los blancos... si eres woke.

L

#3 es gracioso que tengas negativos por algo que objetivamente, es lo que ha ocurrido.

El tremendo mierdón de chatbot al menos ha dado para muchos memes bastante buenos lol.

d

#13 Los negativos son de los creyentes de siempre. Son los que llaman "bulo" a datos incontestables que no le convienen a su ideología maravillosa. Ahora han adoptado lo woke, como quién adopta a un perrito. Creo que se apuntan a todas las cosas de esta clase.

E

#3 ¿Datos woke? ¿Qué es eso, se come o algo? Simplemente han mezclado las fotos de personas con las que han sido entrenados, con las de soldados de la segunda guerra mundial y por lo que sea se ha picado la ultraderecha, como otras tantas veces. Justo he hecho ahora la prueba en Bing de pedirle lo mismo, un soldado de la segunda guerra mundial, y me ha dado, entre otras, una foto en blanco y negro de un soldado que se nota bastante que está en Vietnam por armamento y paisaje (y que en fotos relacionadas me ofrece varias de Vietnam), pero que lleva el peinado alemán de la otra época y le sobra algún que otro dedo.

d

#21 Una red neuronal hace justo eso que dices. Mezcla todos los datos que se le dan como entrenamiento. Los mezcla durante el entrenamiento y una vez hecho no se puede deshacer. Sólo se podría empezar otra vez desde cero.

Pero no tienen capacidad de usar conceptos. La raza es un ejemplo como cualquier otro. Una IA de éstas no sabe nada de razas. Si da muchos resultados con negros es porque tiene muchas fotos de negros en su entrenamiento. Es así de simple.

Como que no es algo corregible, el único remedio es ponerle filtros en la salida y rechazar los resultados que no pasen el filtro. Se genera automáticamente un nuevo prompt, que no te van a enseñar, con instrucciones para corregir el problema.

vjp

#21 #23 estáis equivocados, hasta la propio Google reconoció que es una red multimodal que aplica un filtro para añadir variedad racial por qué así lo decidieron ellos mismos.

Si a una red la entrenas con datos de nazis, sin añadir un bias forzado, los hará blancos por qué es parte de las características comunes del dataset.

E

#25 ¿Dónde lo han reconocido?

vjp

#26 nota de prensa creo que la enlazaron tb en Twitter en una búsqueda rápida aquí tienes un enlace https://infocielo.com/tendencias/racismo-google-se-disculpa-generar-imagenes-ia-inexactas-n781023

Pero vamos que si sabes algo de como funcionan las redes neuronales era obvio.

E

#29 Entiendo que como el enlace no dice nada de eso lo del filtro para añadir variedad racial se trataba de una filtración de Telegram inventada. Como #23 y yo dijimos, ha mezclado datos sin mucho criterio, y si en su base había muchas fotos de personas de diferentes etnias pues está claro va a mezclar. Si es que tampoco es más complicado, aunque la conspiración siempre sea más divertida.

vjp

#30 ¿Pero que tonterías dices? Siento el tono pero me pone de mal genio la gente que habla sin tener ni idea pero le encaja en su esquema mental.

Los entrenamientos de las redes neuronales no piensan en personas así sin más, si taggeas fotos de soldados nazis la red por si misma va a dar por hecho que siempre son blancos, de la misma forma que antiguamente había problemas y antes de meter bias concretos si pedías ladrones te generaba gente negra, por que por estadística encontraba muchas más fotos de gente negra detenida y asociaba esos dos conceptos. De este modo se meten unas capas que corrigen estos sesgos, obviamente se les ha ido de las manos con lo políticamente correcto y ha sido una cagada enorme.

Como fuente fiable te vale el blog oficial de google o necesitas que venga Sergey Brin a tu casa a decírtelo?
https://blog.google/products/gemini/gemini-image-generation-issue/

E

#31 Y ahí pone lo que te han dicho antes, que tenían la IA entrenada con fotos de múltiples etnias y cuando le pedías algo no filtraba en casos en los que debería filtrar. Van a poner un nuevo filtro, ni más ni menos, porque el general no les vale. Por eso van a cerrar el servicio y a hacer pruebas hasta que la cosa funcione. Si fuese cuestión de desactivar un filtro y dejar la IA funcionando no tardaban dos horas en reactivarlo todo.

Y no, la IA no razona como tu primo Juanjo, por eso sigue sin aclararse con cuantos dedos debería tener un humano, y por eso no distingue a un soldado nazi de uno de Vietnam. Si tiene fotos de soldados negros o mujeres, aunque sean recientes, va confundirse con mayor facilidad que si no tiene ninguna. El hecho de tener una mayor variedad de imágenes disponibles provoca situaciones como esta.

vjp

#32
Literalmente Google dice:

So what went wrong? In short, two things. First, our tuning to ensure that Gemini showed a range of people failed to account for cases that should clearly not show a range. Osea que están haciendo un proceso de finetunning a los datos para forzar variedad racial.

Veo que me explicas que no funciona como mi primo, gracias por la aclaración yo tengo varios títulos relacionados con machine learning y llevo varios años trabajando en proyectos de investigación en el campo de deep learning, tus ideas de cómo funciona de donde vienen?

E

#33 Ya, si lo que deja claro ahí es que Gemini no era capaz de filtrar en casos en los que debería filtrar, y que por eso van a dedicarle unos días a meterle un nuevo filtro. Como ya te dije antes, si a tu primo Juanjo le hablas de un soldado de la segunda guerra mundial, se lo imagina con unas determinadas características, mientras que una IA va a mezclar fotos que tenga de soldados y a sacar lo primero que le encaje. Si entrenas a una IA con fotos de diferentes etnias y géneros va a pasar lo que le está pasando a Gemini, de la misma manera que Dall-E se va a liar con las guerras si tiene muchas fotos de soldados viejas en diferentes guerras. Google creó un nuevo problema intentando arreglar otro, y ahora va a solucionarlo como lo hacen todos, con nuevos filtros.

No creo que sea necesario trabajar en el campo del deep learning para saber algo básico y de paso creerse lo del filtro woke del Telegram. Cualquiera que en su momento se pusiese a hacer pruebas extensivas con las distintas IAs generativas sabe de qué pie cojean.

vjp

#34 te estás liando no funciona así, si le das fotos de soldados nazis como parte del entrenamiento si o si te los va a hacer blancos por qué va a asociar ambos términos. Es como si le pides un jugador de baloncesto, por qué si son humanos no te los hace con vaqueros y chaqueta? Por qué los pesos de la red le van a llevar a pantalón corto, pues lo mismo para ser soldado nazi y ser blanco.

Entonces por qué falla? Por un proceso de finetunning y destilado que introduce sesgos forzados como ellos mismos admiten.

E

#39 No me estoy liando, he ido a Bing, le he pedido una foto de un soldado de la segunda guerra mundial le ha dado la venada y los ha creado con una máscara de gas de la primera guerra mundial. He vuelto a probar, especificando un soldado alemán, y me ha salido esto:



Y estamos hablando de Dall E y no de Gemini. No estaré formado en machine learning, pero veo que a esta sin "filtro woke" también le da por meter mujeres de vez en cuando. Y no, no especifiqué female en la petición.

E

#43 Google ha dicho que va a añadir un filtro para que las imágenes históricas no incluyan opciones imposibles. No he visto en ningún lado que dijesen que su servicio se negaba a crear imágenes de blancos, y en la mayor parte de los ejemplos que ha compartido la gente hay casi siempre un ejemplo blanco. Además, justo ahora se me ha dado por hacer la prueba con Dall E y también me ha generado un soldado alemán chica. He puesto la imagen en #40.

Shinu

#44 A ver, en youtube hay muchos vídeos donde lo puedes ver qué pasaba cuando especificabas en el prompt que dibujase a una persona blanca:



Si ante la aplastante evidencia tú prefieres pensar que es un bulo porque "ahora no se puede comprobar", solo me queda pensar que probablemente tengas acciones de Alphabet, por eso estás blanqueando a Google.

Shinu

#21 Eso no es lo más problemático de la IA de Google. Lo peor era que si le pedías específicamente que te dibujase un científico blanco (por poner un ejemplo), se negaba a hacer, sin embargo si le pedías que te dibujase una persona negra te lo hacía sin problemas.

E

#35 Me extraña, porque en la mayoría de fotos que he visto de la polémica suele salir un señor blanco entre otros ejemplos. Sospecho que es un mito aprovechando que han desactivado el servicio y no hay manera de testarlo.

Shinu

#36 Mira este vídeo donde hay varios ejemplos:



En reddit también hay multitud de ejemplos.

E

#37 Como ya dije, en el momento en que no se puede usar el servicio no se puede comprobar si es bulo o realidad. En la mayoría de ejemplos que salen imágenes siempre sale al menos un ejemplo blanco. Es más, si yo ahora le pido una historia a Gemini de un científico blanco me la hace:

Absolutely! Here's a short story about a male white scientist:

The Reluctant Hypothesis

Dr. Alex Townsend wasn't a flashy scientist. He didn't crave the spotlight the way some of his colleagues did. No, he was content with faded jeans, worn lab coats, and the quiet hum of the mass spectrometer. His true passion lived in the intricate dance of data, the subtle patterns that emerged from a carefully designed experiment.

His current obsession was a seemingly unremarkable enzyme, one that countless studies had dismissed as insignificant. Alex was convinced otherwise. Late nights poring over data had revealed subtle anomalies–hints of an unknown function. It had become a thorn in his side, nagging at him with the promise of something extraordinary.

The problem was convincing the grant committee. His proposal had been met with polite disinterest. Undeterred, Alex decided to take a risk. He'd conduct a few preliminary experiments off the books, just enough to bolster his hypothesis into something undeniable.

In the solitude of his lab, away from raised eyebrows and skeptical questions, the enzyme came alive. Under a battery of meticulously designed tests, it reacted in ways that defied conventional understanding.

Alex checked his results, then rechecked them. An error? No, the data was pristine, irrefutable. A grin bloomed across his face - this could change everything. It could revolutionize their understanding of cellular processes, open up avenues in medicine they hadn't even dreamed of.

But a flicker of doubt crept into his exhilaration. Alex was no maverick. He followed protocols, respected the chain of validation. Going rogue felt exhilarating, but was it responsible? Was he letting his excitement get the better of him?

Sleepless nights were spent wrestling with the question. In the end, the lure of the unknown won. Alex drafted his new findings, meticulously cross-referenced, adding them to a revised grant proposal. This time, there would be no polite dismissals. This time, they'd have to listen.


No puedo comprobarlo con la generación de imágenes, y cuando vuelva a estar operativa ya la habrán alterado, con lo que no hay manera de saber si la historia es real o inventada.

Shinu

#38 A ver, hay cientos de ejemplos en internet. Puedes pensar que es un bulo y que toda esa gente se ha compinchado contra Google... o también puedes pensar que a los Google, en un intento de ser lo más inclusivos y diversos posible, se les fue la mano y se pasaron de frenada.

E

#41 Por supuesto que puedo pensar que es un bulo y toda esa gente se ha compinchado contra Google. No sería la primera vez, y no será la última. Hay bastante más gente involucrada en las review bombing de películas en IMDb y no por ello son sus críticas más reales. Hoy en día los bulos se generan mezclando información real con historias completamente inventadas para que cuele un poco mejor. Ya dije que en la mayor parte de las imágenes de ejemplo que comparten salían ejemplos blancos, y lo de la negativa a hacer una imagen de un científico blanco a mí no pasó con las historias. En ninguna de las opciones que me daba Gemini se negaba a crear una historia, solo había una en la que me decía que la raza no es importante y después generaba la historia.

Cuando ocurre algo así lo primero que suelo hacer es comprobarlo, y ahora mismo tienen desactivada la creación de imágenes, con lo que tengo que recurrir a lo más parecido.

Shinu

#42 Sería raro que nadie lo haya desmentido a estas alturas, no? Es decir, Google podría haberlo desmentido, sin embargo, en vez de hacer eso ha cerrado temporalmente la generación de imágenes, lo que parece indicar que algo estaba haciendo mal el algoritmo. Incluso el CEO ha dicho en una carta que lo que había ocurrido era inaceptable: Carta filtrada del CEO de Google a sus empleados tras el descalabro de su IA Gemini generando imágenes: “es completamente inaceptable”

Hace 4 meses | Por spacemenko a ludd.es

D

Es decir, que no ha perdido nada.

Australopithecus

Bueno, al menos nos hemos llevado una bonita experiencia de lo que es sentirse no representado .

KCN

Después de lo de confundir a personas negras con gorilas se les ha ido la mano con los datos de entrenamiento metiendo razas no blancas como si no hubiera un mañana y el overfitting ha hecho el resto

powernergia

Momento de comprar!!

Robus

#7 Pues no te digo yo que no...

manuelpepito

Gemini es bastante mala. Se inventa más cosas que gpt. O por lo menos con las cosas que le he preguntado.

camperuso

#9 pues igual que el buscador de Google entonces

salchipapa77

Get woke, go broke