#1 Esta es una síntesis de los puntos clave de la visión de Yann LeCun y su arquitectura JEPA (Joint-Embedding Predictive Architecture):
1. El problema de los modelos actuales (LLMs)
Yann LeCun, pionero de la IA, sostiene que los modelos de lenguaje actuales (como ChatGPT) tienen limitaciones fundamentales:
Son puramente generativos y autorregresivos: Predicen el siguiente token o píxel, lo cual funciona en texto pero falla en video.
El problema de la "borrosidad": Al intentar predecir píxeles en un video, debido a la incertidumbre (hay infinitas posibilidades de lo que puede pasar después), los modelos generativos promedian los resultados y producen imágenes borrosas e inservibles.
Falta de "sentido común": Los LLMs no entienden el mundo físico ni las consecuencias de sus acciones; solo manipulan lenguaje.
2. ¿Qué es JEPA?
JEPA no es un modelo único, sino una arquitectura alternativa que no es generativa. En lugar de predecir píxeles o texto directamente, funciona así:
Codificadores (Encoders): Pasa la entrada (X) y la salida (Y) a través de modelos que las convierten en vectores matemáticos llamados embeddings.
Predictor: Un tercer modelo entrena para predecir el embedding de la salida a partir del embedding de la entrada.
Ventaja: Al trabajar en un espacio abstracto (embeddings) y no a nivel de píxeles, el modelo ignora detalles irrelevantes (como el movimiento de las hojas de un árbol) y se enfoca en la estructura semántica y física de la escena.
3. Superar el "Colapso de Representación"
Históricamente, estos modelos (llamados Redes Siamesas) fallaban porque la IA "hacía trampa" devolviendo siempre el mismo vector para cualquier entrada (colapso).
La solución (Barlow Twins): Inspirado en la neurociencia, LeCun y su equipo desarrollaron un método para reducir la redundancia entre neuronas, forzando al modelo a extraer información útil sin colapsar.
Cuando alguien se queja de pagar muchos impuestos, le digo: - Yo pago mucho menos. Te lo cambio.
Yo estaría encantado de pagar el 50% de impuestos. Eso significaría que estoy forrado.
#3 Ya no cuela el victimismo israelí. El 99,99% de las respuestas al tweet del gobierno israelí, les trata de genocidas asesinos y nos felicitan por la voladura del muñeco Netanyahu
#32 Pues no te lo recomiendo. Yo también uso la IA para casi todo, pero usarlo para expresar tus ideas hace que se pierda capacidad analítica y de síntesis. Haz que encuentre tus faltas, pero luego asimílalo y exprésalo con tus propias palabras.
#11 No hace falta ir al espacio para saberlo, pero ver el planeta desde fuera te fuerza a descubrir que somos ignorantes e insignificantes primates matándonos entre nosotros y destrozando el único sitio donde podemos vivir.
#2 Coincido en que el libro es muy bueno. La peli no la he visto todavía, pero tampoco tengo prisa, tengo muchas pendientes. Por ejemplo tampoco he visto la adaptación de El marciano (del mismo autor).
#17 mandelbr0t 
