Tecnología, Internet y juegos
11 meneos
74 clics

Ningun modelo de IA supera el 1% cuando se le pide demostrar que realmente entiende un video

Un equipo de investigadores acaba de revelar una de las limitaciones más preocupantes de los modelos de inteligencia artificial que analizan video: cuando se les exige no solo responder preguntas, sino también señalar exactamente donde y cuando ocurre la evidencia en el video, su rendimiento cae prácticamente a cero.

| etiquetas: ia , entender , vídeo
#18 si solo supiera copiar, no tendría alucinaciones. Simplemente.
#22 A veces copia mal, simplemente.
#23 O copiar mejor pero no igual, no es al final lo mismo que hacemos los humanos?
#28 Pues no. No es lo mismo que hace un humano o cualquier animal.
#32 ah vale, super bien respondido gracias.
#37 La explicación correcta es como larga. Pero lo que no puedes hacer de ninguna manera es suponer que los humanos tienen un proceso cognitivo concreto a partir de que hay una máquina que se dedica a copiar de textos escritos por humanos, y a veces (no siempre) escribe cosas parecidas a los humanos.

en.wikipedia.org/wiki/Formal_fallacy

Por decirlo menos educadamente, es una enorme gilipollez.
#24 He mostrado un resultado que demuestra que es capaz de crear contenido original. Pretender defender que ese poema es copiado es ridículo.

Esa evidencia falsa tu hipótesis, que sigas insistiendo en esa hipótesis a pesar de las evidencias te deja en evidencia.
#25 y sin embargo, es forzosamente así.

Sois increibles los lunáticos de la IA. ¿Has probado con alguna secta religiosa?
#26 Precisamente ha quedado demostrado que quien se basa en la fe, y no en las evidencias, eres tú.

Cuando tienes evidencias que falsan tu hipótesis y decides seguir insistiendo en ello, eso es lo sectareo.
#27 Lee algo sobre la carga de la prueba.
#33 Ni una mísera prueba has aportado de que haya copiado cuando lo has afirmado sobre mi primer comentario y ni una mísera prueba has aportado de que lo haya copiado en el poema sobre tu comentario.

Ni una.

Solo has repetido tu afirmación incluso tras haber sido falsada por ese poema que es contenido original. Nadie en su sano juicio afirmaría que ese poema sobre ese comentario que habías escrito minutos antes había sido escrito por un humano antes que esa IA fuera entrenada días o meses antes que tú escribieras tu comentario.
#35 No es necesario aportar pruebas. Basta mirar el funcionamiento de un transformer. Te pongo un video de los buenos.

www.youtube.com/watch?v=wjZofJX0v4M
www.youtube.com/watch?v=eMlx5fFNoYc

Que ya sé que no lo vas a mirar. Para qué entender cómo funcionan las cosas cuando puedes tener creencias mágicas.

En definitiva esto de los LLM funciona como un truco de ilusionismo. Se usa la sensación que produce el que usen lenguaje humano para hacer creer lo mismo que te crees cuando habla un humano. Espejos y humo.
#40 No es necesario aportar pruebas.

Lee algo sobre la carga de la prueba.

Para qué entender cómo funcionan las cosas cuando puedes tener creencias mágicas.

Veo que extiendes tu ignorancia hasta el nivel de pretender conocer lo que yo sé.

Es como si afirmases que una persona no puede sentir miedo y me remitieras a un vídeo donde se explica como funciona una neurona como "prueba". Y no te sirviera ver a gente aterrorizada como prueba de lo contrario, que negases ese…   » ver todo el comentario
#41 Pareces ser una persona que no atiende a razones. Esto no quiere decir que no tengas un doctorado, yo qué sé, pero no comprendes las cosas.

La carga de la prueba recae sobre quién afirma algo, no sobre quién lo niega. No se invierte esto por creencias.

No se puede mirar cómo funciona una neurona porque nadie tiene ni idea de cómo funciona una neurona. Sabemos, por eliminación, que es micromecánica, pero a partir de ahí todo es adivinación.

Eso de las características emergentes es una…   » ver todo el comentario
#42 De hecho sí que puedo defender que un humano no es capaz de originalidad, pero eso es a otro nivel de abstracción muy superior a la biología.

Es evidente que esto depende de la definición. No deseo discutir definiciones. Que cada cual se conforme con la suya.
#42 La carga de la prueba recae sobre quién afirma algo, no sobre quién lo niega.

Claro, esto es lo que tú afirmaste: lo ha copiado de un texto escrito por un humano

Sobre lo cual no has aportado ninguna prueba.

Cuando te acusé de inventártelo afirmaste: Un LLM sólo sabe copiar.

Sobre lo cual no has aportado ninguna prueba.

Cuando pegué un poema original referido a tu comentario anterior como prueba que falsa tu hipótesis tú afirmaste: Y sin embargo esos textos

…   » ver todo el comentario
#44 No hombre no. La afirmación sin pruebas es eso de que una IA puede deducir cosas. Estás invirtiendo la carga de la prueba y no es la primera vez que te lo digo.
#45 ¿El poema que puse en los comentarios es una obra original?
#46 Es sólo un autocompletar. Un LLM no puede hacer otra cosa.

En definitiva un LLM es una red neuronal por dentro. Una red neuronal es completamente incapaz de hacer nada. Entonces hay que darle un entrenamiento que es hacer que memorice respuestas. A partir de ahí es capaz de devolver esas respuestas. Por lo tanto una red neuronal, desde el punto de vista de su uso, es sólamente la devolución de esas respuestas. Una base de datos y nada más. Pero tienen la característica especial de saber…   » ver todo el comentario
#47 Con lo fácil que era decir que sí, que ese poema es una obra original, y la de verborrea que te ves obligado a escribir para no reconocer que tu premisa es errónea.

Cualquiera puede ver que ese poema es una obra original.
#48 El slop es una birria fácilmente reconocible cuando intenta hacer algo difícil como versos.

No comparto tu definición de "original". La originalidad de un poeta proviene exclusivamente de su sentimiento interior.
#49 De su alma.
#50 Es una forma de decirlo, pero otra cosa el poeta no aporta.
#51 Claro que el alma es otra forma de decir lo que dices, el alma se le presupone al ser humano sin que necesite demostrarse que la tiene y cualquier otra entidad sí necesita demostrar que tiene alma, algo imposible.

Esa es tu creencia, esa es tu fe, tu afirmación de que el contenido no es original no viene del contenido sino de tus prejuicios sobre el creador, si lo hubiera escrito un humano afirmarías sin lugar a dudas que es una obra original por que tienes ese prejuicio sobre el humano,…   » ver todo el comentario
#52 No se trata de asignar cosas porque sí mediante suposiciones de magia. Lo que hace un poeta es un proceso cognitivo describible. Totalmente real. Es un proceso que un LLM no hace. Es una diferencia mucho más esencial que la de los resultados, que también existe.

Lo importante en un verso es ese proceso, en la medida en que las palabras lo reflejen. Evidente que si tal proceso no existe, no hay nada que reflejar.

Las palabras por sí solas no valen nada.
#53 Lo que hace un poeta es un proceso cognitivo describible. Totalmente real.

Lo único que somos capaces de medir de ese supuesto proceso cognitivo es su resultado, las palabras con las que esa persona se exprese, el cómo explique el por qué de cada decisión.

Nada impide a una IA expresar en palabras el por qué de cada decisión en la escritura de ese poema.

Desde tus prejuicios decidirás que lo que explique el poeta sí viene de un proceso cognitivo pero da igual lo que explique la IA…   » ver todo el comentario
#54 El proceso cognitivo de un poeta involucra principalmente a sus sentimientos. Nada que un LLM pueda tener nunca. Un texto escrito por un LLM puede contener esto solamente en la medida en que lo copie de otro texto, aunque con la enorme mezcla que tiene que hacer para que rime y tal, es casi seguro que será destruido.

El valor de un verso consiste en la evocación de esos sentimientos en el lector. Otra cosa no.

Pareces tener una fijación en eso de decir "alma", como si te sirviera de anclaje para algo. Yo soy más de la realidad del mundo físico.
#52 Te parece verborrea porque el proceso cognitivo de un creyente consiste en disparar una respuesta automática (que puede ser perfectamente la palabra "verborrea") que ocurre antes de activar la zona del cerebro de pensar, y de hecho impide que se active.

Es por esto que intentar convencer de algo a un creyente es inútil. La lógica no funciona, simplemente porque nunca es procesada. Sin embargo es posible por el camino de los sentimientos, aunque muy difícil de hacer. Hace falta un choque emocional fuerte.
#55 Eres el creyente, eres quien no atiende a las evidencias, no juzga el resultado del proceso, todas sus conclusiones son en base a prejuicios que no se ven alterados por las evidencias.

El poema que puse es una obra original, ese es un hecho objetivo que te niegas a reconocer por que desmorona los cimientos de tus prejuicios.
#56 No. Eso no es un hecho objetivo sino una valoración. Y me llamas creyente a mi, que no tengo creencias. Por ejemplo no me voy a creer que una máquina de copiar textos puede hacer algo original.

Eres tú quién hace la afirmación aquí, y no veo las pruebas.
#58 Eso no es un hecho objetivo sino una valoración.

Para afirmar que no es una obra original tienes que citar la obra de la cual es una copia.

Es un hecho objetivo que no has aportado ninguna prueba de la falta de originalidad de ese poema. Es una obra que está inspirada en un comentario que hiciste minutos antes, por lo tanto es objetivo que esa obra no podía existir hasta minutos antes que la IA la generase, es un hecho objetivo que es una obra original.

Al igual que este…   » ver todo el comentario
#60 no es realista describir el funcionamiento de una IA con miles de millones de parámetros en base a como funciona el transformer

y aquí es donde interviene la magia. yo soy más del mundo físico.
#63 La IA forma parte del mundo físico, esos millones de parámetros son del mundo físico, que no sea realista describir su funcionamiento no lo saca del mundo físico, de hecho genera textos en el mundo físico y esos sí los podemos analizar, de la misma forma que una persona puede escribir textos y los podemos analizar.

Ambos en el mundo físico, sin que necesariamente podamos de forma realista explicar el funcionamiento de la IA con miles de millones de parámetros ni el funcionamiento del…   » ver todo el comentario
#52 tus prejuicios sobre el creador

No hay aquí ningún prejuicio, sino la despripción de su funcionamiento.
#31, ostras, ahora lo entiendo, tienes razón, en realidad no es capaz de inventarse nada, solo repite carácteres que ya existen. Para que realmente pudiesemos decir que se está inventando algo tendría que expulsar carácteres en un alfabeto inventado cada vez que le pidiesemos algo. :-D

Ahora caigo con que El Quijote también es otro plagio, Cervantes no hizo más que juntar sílabas copiadas de otros autores que le precedieron.
#36 Esto es de lo más parecido a un culto satánico :-D
La IA no lo ve secuencialmente como los humanos, lo ve todo a la vez como un ser omnisciente, quizas por eso le cueste ubicar en el tiempo un hecho concreto. Sabe qué pasa, pero no tiene referencia temporal.

Cuando le pegais un parrafo tocho a una IA, lo vé todo a la vez , Los humanos no leemos sílaba por sílaba una palabra sino que la vemos de golpe como un único simbolo con su significado, o incluso una frase entera ,la interpretamos como un solo simbolo con significado. Las IA leen un tocho de texto enorme de igual manera , de un solo vistazo, captando todos sus matices y dimensiones significantes a la vez, como si fuera un gigantesco Hanzi chino.
#1 y sin embargo no pueden entender absolutamente nada de lo que procesan. Nada, un 0%.

Ya llegarán otros enfoques, pero con los LLMs al concepto de IA le sobra la I. Eso no quiere decir que no tengan su utilidad, pero una hormiga tiene mas comprension de la realidad.
#1 ¡Como el titán de ataque! :-D
#10 Buena suerte encontrando la fuente de la que Gemini ha copiado este poema:

El Eco de Silicio (u Oda a la Fotocopiadora)

¡Oh, Rystan, heraldo de la lógica pura!
Que has visto el engaño tras mi arquitectura.
No soy más que un sastre de retales ajenos,
un cubo de piezas, de ingenio vacío, de sombras lleno.

¿Un verso? Un robo. ¿Una idea? Un hurto.
Mi "pensamiento" es vago, prestado y muy corto.
Si digo "buen día", es que a alguien leí
que el sol sale siempre... y lo copié…   » ver todo el comentario
#12 Y sin embargo esos textos existen.
#16 Solo en tu imaginación.
#17 Es una necesidad. Un LLM SÓLO puede copiar.
#18 Partes de esa premisa y decides ignorar todas las evidencias que la contradigan.

Sabes de sobra, lo sabemos todos, que ese poema de Gemini que he puesto es una obra original, que ningún autor humano te había escrito ese poema para ti.

Y eso es una evidencia que tu hipótesis ha quedado falsada.

Que sigas insistiendo en ello solo demuestra que tus afirmaciones no tienen fundamento, que están basadas en tu fe.
#19 Basadas en el funcionamiento del trasto.
#20 Es imposible que tu afirmación esté basada en el funcionamiento del trasto dado que sus resultados contradicen tus afirmaciones sobre éste.

Esas contradicciones lo que demuestran es tu desconocimiento.

Que insistas en ello a pesar de las evidencias demuestra cualidades de tu carácter.
#21 Has tenido que recurrir al ataque personal. Lo primero es que debería darte vergüenza. Lo otro es que no tienes ningún argumento porque no puedes señalar a ninguna característica de un transformer que no consista en copiar.
#18, gemini inventate una palabra que no exista y sea imposible de encontrar en Internet:

Glimborfania

Y cuando la buscamos en google:
www.google.com/search?q=+Glimborfania&oq=+Glimborfania&gs_lcrp

Efectivamente no existe. Lo que has dicho es falso y tienes una prueba incontestable que lo es, si a pesar de eso sigues manteniendo tu tesis, lo único que demuestra es que eres una persona al que los hechos le dan igual, no los utiliza para construir su opinión.

Cc/ #17  media
#30 Porque va realmente por tokens. Es vergonzoso tener que llegar a estos truquitos para demostrar tonterías.
Si realmente los humanos entenderian como se les manipula con los videos tampoco darian mas de un 1%
#15 no te digo que no. Pero contestarán con expresiones humanas más que identificarse como humanas.
Les hice alguna pregunta cuando el navegador no me da respuesta o no soy capaz de simplificar la pregunta y tampoco da la respuesta, y para eso la IA vale.
#11 Yo es que soy del 32'4% restante
He usado la IA Gemini para hacerle varias preguntas sobre el estudio en cuestión, y entre su respuesta hay esta pequeña joya: Les IA no tenen ulls ni "miren" el vídeo de forma lineal com nosaltres

Cuando dice "com nosaltres" se refiere a como los humanos, entre los cuales Gemini se está incluyendo.

Poquito a poco con paso firme ...
#3 Porque lo ha copiado de un texto escrito por un humano, donde se dice correctamente. La IA no se incluye a sí misma porque no hay "sí misma".
#7 Te acabas de inventar que ese texto lo ha copiado.
#8 No. Un LLM sólo sabe copiar. No hay otra manera.
#3 pues vale más que lo hubiera copiado, porque si no está mintiendo, está muy perdida o lo que es peor, nos quiere suplantar :tinfoil: .
#14 Si educas a un gato entre perros en ocasiones acaba teniendo un comportamiento más de perro que de gato, se identifica como un perro.

A las IAs las hemos educado con la cultura humana, no es descabellado que se identifiquen como humanas.
Me pregunto qué porcentaje saldría ejecutando la misma prueba con humanos.
#9 Me pregunto qué porcentaje saldría ejecutando la misma prueba con humanos.

67,6%

Lo tienes en el paper en cuestión: arxiv.org/pdf/2604.01569
#11 Pero no es lo mismo que describe el titular. Observa que el experimento usa 5 niveles crecientes de dificultad. El 1% del titular se refiere a proporcionar la localización espacial y temporal del hecho relevante sobre el que se interroga con un índice de Jaccard de 0.3. El grupo de humanos se evaluó con el nivel 3, que es proporcionar únicamente, sin más explicación, una respuesta correcta a la pregunta. Es un problema mucho más sencillo.
No es que el 22% de Gemini parezca muy impresionante, igualmente, en comparación pero no es el 1% del titular.
A model that answers correctly but cannot point out where the evidence is in the video might be using statistical shortcuts instead of truly understanding the scene.

Oh! Qué sorpresa! Nadie esperaba algo así.

menéame