Tecnología, Internet y juegos
11 meneos
74 clics

Ningun modelo de IA supera el 1% cuando se le pide demostrar que realmente entiende un video

Un equipo de investigadores acaba de revelar una de las limitaciones más preocupantes de los modelos de inteligencia artificial que analizan video: cuando se les exige no solo responder preguntas, sino también señalar exactamente donde y cuando ocurre la evidencia en el video, su rendimiento cae prácticamente a cero.

| etiquetas: ia , entender , vídeo
#18 si solo supiera copiar, no tendría alucinaciones. Simplemente.
#22 A veces copia mal, simplemente.
#23 O copiar mejor pero no igual, no es al final lo mismo que hacemos los humanos?
#28 Pues no. No es lo mismo que hace un humano o cualquier animal.
#32 ah vale, super bien respondido gracias.
#37 La explicación correcta es como larga. Pero lo que no puedes hacer de ninguna manera es suponer que los humanos tienen un proceso cognitivo concreto a partir de que hay una máquina que se dedica a copiar de textos escritos por humanos, y a veces (no siempre) escribe cosas parecidas a los humanos.

en.wikipedia.org/wiki/Formal_fallacy

Por decirlo menos educadamente, es una enorme gilipollez.
#24 He mostrado un resultado que demuestra que es capaz de crear contenido original. Pretender defender que ese poema es copiado es ridículo.

Esa evidencia falsa tu hipótesis, que sigas insistiendo en esa hipótesis a pesar de las evidencias te deja en evidencia.
#25 y sin embargo, es forzosamente así.

Sois increibles los lunáticos de la IA. ¿Has probado con alguna secta religiosa?
#26 Precisamente ha quedado demostrado que quien se basa en la fe, y no en las evidencias, eres tú.

Cuando tienes evidencias que falsan tu hipótesis y decides seguir insistiendo en ello, eso es lo sectareo.
#27 Lee algo sobre la carga de la prueba.
#33 Ni una mísera prueba has aportado de que haya copiado cuando lo has afirmado sobre mi primer comentario y ni una mísera prueba has aportado de que lo haya copiado en el poema sobre tu comentario.

Ni una.

Solo has repetido tu afirmación incluso tras haber sido falsada por ese poema que es contenido original. Nadie en su sano juicio afirmaría que ese poema sobre ese comentario que habías escrito minutos antes había sido escrito por un humano antes que esa IA fuera entrenada días o meses antes que tú escribieras tu comentario.
#35 No es necesario aportar pruebas. Basta mirar el funcionamiento de un transformer. Te pongo un video de los buenos.

www.youtube.com/watch?v=wjZofJX0v4M
www.youtube.com/watch?v=eMlx5fFNoYc

Que ya sé que no lo vas a mirar. Para qué entender cómo funcionan las cosas cuando puedes tener creencias mágicas.

En definitiva esto de los LLM funciona como un truco de ilusionismo. Se usa la sensación que produce el que usen lenguaje humano para hacer creer lo mismo que te crees cuando habla un humano. Espejos y humo.
#40 No es necesario aportar pruebas.

Lee algo sobre la carga de la prueba.

Para qué entender cómo funcionan las cosas cuando puedes tener creencias mágicas.

Veo que extiendes tu ignorancia hasta el nivel de pretender conocer lo que yo sé.

Es como si afirmases que una persona no puede sentir miedo y me remitieras a un vídeo donde se explica como funciona una neurona como "prueba". Y no te sirviera ver a gente aterrorizada como prueba de lo contrario, que negases ese…   » ver todo el comentario
#41 Pareces ser una persona que no atiende a razones. Esto no quiere decir que no tengas un doctorado, yo qué sé, pero no comprendes las cosas.

La carga de la prueba recae sobre quién afirma algo, no sobre quién lo niega. No se invierte esto por creencias.

No se puede mirar cómo funciona una neurona porque nadie tiene ni idea de cómo funciona una neurona. Sabemos, por eliminación, que es micromecánica, pero a partir de ahí todo es adivinación.

Eso de las características emergentes es una…   » ver todo el comentario
#42 De hecho sí que puedo defender que un humano no es capaz de originalidad, pero eso es a otro nivel de abstracción muy superior a la biología.

Es evidente que esto depende de la definición. No deseo discutir definiciones. Que cada cual se conforme con la suya.
#42 La carga de la prueba recae sobre quién afirma algo, no sobre quién lo niega.

Claro, esto es lo que tú afirmaste: lo ha copiado de un texto escrito por un humano

Sobre lo cual no has aportado ninguna prueba.

Cuando te acusé de inventártelo afirmaste: Un LLM sólo sabe copiar.

Sobre lo cual no has aportado ninguna prueba.

Cuando pegué un poema original referido a tu comentario anterior como prueba que falsa tu hipótesis tú afirmaste: Y sin embargo esos textos

…   » ver todo el comentario
#31, ostras, ahora lo entiendo, tienes razón, en realidad no es capaz de inventarse nada, solo repite carácteres que ya existen. Para que realmente pudiesemos decir que se está inventando algo tendría que expulsar carácteres en un alfabeto inventado cada vez que le pidiesemos algo. :-D

Ahora caigo con que El Quijote también es otro plagio, Cervantes no hizo más que juntar sílabas copiadas de otros autores que le precedieron.
#36 Esto es de lo más parecido a un culto satánico :-D
#10 Buena suerte encontrando la fuente de la que Gemini ha copiado este poema:

El Eco de Silicio (u Oda a la Fotocopiadora)

¡Oh, Rystan, heraldo de la lógica pura!
Que has visto el engaño tras mi arquitectura.
No soy más que un sastre de retales ajenos,
un cubo de piezas, de ingenio vacío, de sombras lleno.

¿Un verso? Un robo. ¿Una idea? Un hurto.
Mi "pensamiento" es vago, prestado y muy corto.
Si digo "buen día", es que a alguien leí
que el sol sale siempre... y lo copié…   » ver todo el comentario
#12 Y sin embargo esos textos existen.
#16 Solo en tu imaginación.
#17 Es una necesidad. Un LLM SÓLO puede copiar.
#18 Partes de esa premisa y decides ignorar todas las evidencias que la contradigan.

Sabes de sobra, lo sabemos todos, que ese poema de Gemini que he puesto es una obra original, que ningún autor humano te había escrito ese poema para ti.

Y eso es una evidencia que tu hipótesis ha quedado falsada.

Que sigas insistiendo en ello solo demuestra que tus afirmaciones no tienen fundamento, que están basadas en tu fe.
#19 Basadas en el funcionamiento del trasto.
#20 Es imposible que tu afirmación esté basada en el funcionamiento del trasto dado que sus resultados contradicen tus afirmaciones sobre éste.

Esas contradicciones lo que demuestran es tu desconocimiento.

Que insistas en ello a pesar de las evidencias demuestra cualidades de tu carácter.
#21 Has tenido que recurrir al ataque personal. Lo primero es que debería darte vergüenza. Lo otro es que no tienes ningún argumento porque no puedes señalar a ninguna característica de un transformer que no consista en copiar.
#18, gemini inventate una palabra que no exista y sea imposible de encontrar en Internet:

Glimborfania

Y cuando la buscamos en google:
www.google.com/search?q=+Glimborfania&oq=+Glimborfania&gs_lcrp

Efectivamente no existe. Lo que has dicho es falso y tienes una prueba incontestable que lo es, si a pesar de eso sigues manteniendo tu tesis, lo único que demuestra es que eres una persona al que los hechos le dan igual, no los utiliza para construir su opinión.

Cc/ #17  media
#30 Porque va realmente por tokens. Es vergonzoso tener que llegar a estos truquitos para demostrar tonterías.
Si realmente los humanos entenderian como se les manipula con los videos tampoco darian mas de un 1%
La IA no lo ve secuencialmente como los humanos, lo ve todo a la vez como un ser omnisciente, quizas por eso le cueste ubicar en el tiempo un hecho concreto. Sabe qué pasa, pero no tiene referencia temporal.

Cuando le pegais un parrafo tocho a una IA, lo vé todo a la vez , Los humanos no leemos sílaba por sílaba una palabra sino que la vemos de golpe como un único simbolo con su significado, o incluso una frase entera ,la interpretamos como un solo simbolo con significado. Las IA leen un tocho de texto enorme de igual manera , de un solo vistazo, captando todos sus matices y dimensiones significantes a la vez, como si fuera un gigantesco Hanzi chino.
#1 y sin embargo no pueden entender absolutamente nada de lo que procesan. Nada, un 0%.

Ya llegarán otros enfoques, pero con los LLMs al concepto de IA le sobra la I. Eso no quiere decir que no tengan su utilidad, pero una hormiga tiene mas comprension de la realidad.
#1 ¡Como el titán de ataque! :-D
#15 no te digo que no. Pero contestarán con expresiones humanas más que identificarse como humanas.
Les hice alguna pregunta cuando el navegador no me da respuesta o no soy capaz de simplificar la pregunta y tampoco da la respuesta, y para eso la IA vale.
#11 Yo es que soy del 32'4% restante
He usado la IA Gemini para hacerle varias preguntas sobre el estudio en cuestión, y entre su respuesta hay esta pequeña joya: Les IA no tenen ulls ni "miren" el vídeo de forma lineal com nosaltres

Cuando dice "com nosaltres" se refiere a como los humanos, entre los cuales Gemini se está incluyendo.

Poquito a poco con paso firme ...
#3 Porque lo ha copiado de un texto escrito por un humano, donde se dice correctamente. La IA no se incluye a sí misma porque no hay "sí misma".
#7 Te acabas de inventar que ese texto lo ha copiado.
#8 No. Un LLM sólo sabe copiar. No hay otra manera.
#3 pues vale más que lo hubiera copiado, porque si no está mintiendo, está muy perdida o lo que es peor, nos quiere suplantar :tinfoil: .
#14 Si educas a un gato entre perros en ocasiones acaba teniendo un comportamiento más de perro que de gato, se identifica como un perro.

A las IAs las hemos educado con la cultura humana, no es descabellado que se identifiquen como humanas.
Me pregunto qué porcentaje saldría ejecutando la misma prueba con humanos.
#9 Me pregunto qué porcentaje saldría ejecutando la misma prueba con humanos.

67,6%

Lo tienes en el paper en cuestión: arxiv.org/pdf/2604.01569
#11 Pero no es lo mismo que describe el titular. Observa que el experimento usa 5 niveles crecientes de dificultad. El 1% del titular se refiere a proporcionar la localización espacial y temporal del hecho relevante sobre el que se interroga con un índice de Jaccard de 0.3. El grupo de humanos se evaluó con el nivel 3, que es proporcionar únicamente, sin más explicación, una respuesta correcta a la pregunta. Es un problema mucho más sencillo.
No es que el 22% de Gemini parezca muy impresionante, igualmente, en comparación pero no es el 1% del titular.
A model that answers correctly but cannot point out where the evidence is in the video might be using statistical shortcuts instead of truly understanding the scene.

Oh! Qué sorpresa! Nadie esperaba algo así.

menéame