#45 No, no me lo tomo mal. Si para mi es un placer debatir contigo en verdad. Propones argumentos sólidos y hay que estrujarse para replantarse los presupuestos propios y ajenos.
Lo digo en serio, un placer, que aprender se aprende contigo.
Y la neurosimbólica está en pañales. Y dudo que el contexto actual ayude a su favor (la inversión está cayendo de lleno en lo que hay).
Pero hablando de Modelos de Lenguaje, justamente este mes ha salido un nuevo paper que puede revolucionar a los LLMs cambiando la manera de trabajar con tokens, y abriendo la puerta a una mayor reducción de costos operativos y aumento de eficiencia. Algo que podría hacer cambiar de idea a los que, como yo, somos tan críticos con los LLMs actuales:
#45 Honestamente yo no hago caso a ninguno. Me refiero a perfil tecnológico mediático. Por eso tampoco me asusto con Hinton. Prefiero los que llevan años en las trincheras sin ser conocidos, ej: www.youtube.com/watch?v=74L9XlH-x64
#9 Relájate hombre. Yo llevo comiendo de la AI 20 años y no veo porqué voy a dejar de hacerlo. Habrá sectores impactados y algunos desaparecerán, como ocurrió siempre. Surgirán perfiles nuevos y el programador se convertirá en otra cosa a medida que la demanda de soluciones se adapte a nuevas herramientas. Hinton es un catastrofista porque hace lecturas vectorizadas por sus sesgos sin tener visión completa por la complejidad inherente a una transformación de estas dimensiones. Hay otras voces igualmente interesantes y autorizadas como LeCun, Brooks y otros que no se van al extremo de la curva de sucesos futuribles como hace Hinton
#13 Primero, el covid no fue para tanto porque efectivamente su ratio de mortalidad no es tan alto como para que sea un problema enormísimo.
Segundo, de hecho el aumento de productividad con la IA por ahora ha sido relativamente bajo. Y además si conocieras mejor la IA sabrías que era esperable (¿conoces Numenta y el 1000 brains theory/project?). La realidad es que aunque hay cosas que la IA sabe hacer mejor que un humano, siempre habrá cosas que el humano sabe hacer mejor que la IA. Es al final un simple aumento de productividad, que destruye todos los trabajos existentes y crea muchos más trabajos nuevos, como siempre ha pasado.
De hecho recuerdo que en el siglo XIX existía una industria del hielo que empleaba a cientos de miles de personas... y luego se inventó el frigorífico. ¿Significó eso que aumentara el desempleo? No.
#7 La IA es un aumento de productividad. Llevamos con acelerados incrementos de productividad desde la primera revolución industrial y desde entonces los socialistas llevan diciendo que llega el fin del mundo y que el capitalismo colapsaría porque destruiría todos los trabajos.
Que no es algo nuevo, que ya lo decía Marx, y antes de el Ned Ludd y los luditas. Nunca tuvieron razón y no va a cambiar la cosa ahora.
#43 Illya Sutskever no es un buen ejemplo. Era el jefe científico de OpenAI, en sus hombros descansa gran parte de la arquitectura de ChatGPT y UN GENIO. Un tío absolutamente brillante. Pero Sutskever es el CEO de su nueva empresa (con una ronda de financiación exitosa) y ahora forma parte de esa estrategia de marketing anti-intuitiva de asustar con perder el control de la IA para captar nuevas rondas de capital riesgo (es lo que llevan haciendo Altman y Amodei desde hace unos años ya, con éxito), de la que por cierto hace no mucho se unieron las empresas del sector para hacer piña corporativista: venturebeat.com/ai/openai-google-deepmind-and-anthropic-sound-alarm-we
El típico peligro de premiar acciones fáciles de falsificar (preguntarle a un vendedor si necesitas comprarle algo).
Cierto que Apple se ha quedado atrás y suena plausible el demeritar la IA, pero precisamente por no ser un actor con su viabilidad atada al 100% al éxito de los LLMs (al contrario que Open AI, Anthropic o en gran medida NVidia, Google y Microsoft) su postura es un contrapunto a evaluar.
"Fiar tu cosmovisión sobre el futuro de la humanidad apostando en contra de la IA es estar abocado al fracaso más estrepitoso. "
Cosa que jamás he hecho en esta noticia. Mi apuesta es por la IA Neurosimbólica, no los LLMs (que no pueden razonar, por arquitectura, y por tanto el peligro de "perder el control de la IA" es una narrativa fundamentalmente vacía, más allá de movilizar capital y controlar narrativa). La tesis que parece prevalecer es que inteligencia real es determinista y causal, no probabilística y correlacional (y que no requiere de inmensos datos estáticos de entrenamiento). Es la capacidad de de abstracción y de ponerte en un plano superior de análisis para resolución de problemas cambiantes (y para los que, a menudo, no existe suficiente certidumbre, experiencia o "entrenamiento" previo).
Y sí que creo que la Inteligencia Artificial será la tecnología (más bien diría, el evento histórico) más disruptiva de la Historia de la Humanidad. Estamos completamente de acuerdo en ello. Simplemente la diferencia es que yo creo que los LLMs son muy relevantes pero tienen limitaciones estructurales (imposibilidad de razonar y "alucinaciones" crecientes por eutrofización digital de datos sintéticos).
" Para ser más inteligente que el ser humano no hace falta la consciencia."
Se lo he escuchado más de una vez a Plácido Doménech Espí de xHUB.AI. Para esas afirmaciones preferiría escuchar mejor a neurocientíficos de primer orden, como Antonio Damasio. La doctrina del Solucionismo Tecnológico a veces excede demasiado su ámbito de dominio.
#36 Es repetir lo mismo una y otra vez; la idea de Geoffrey Hinton sobre el peligro de autoconsciencia de los LLMs es consistente con sus opinión durante años... pero a estas alturas prácticamente está cada vez menos acompañado en esa posición (con respecto a los LLMs), únicamente reafirmado por la gente de OpenAI (por razones financieramente obvias). Su compañero de galardón del Premio Turing de 2018, Yann Lecunn por ejemplo, piensa de manera diametralmente diferente, y la acumulación de publicaciones académicas que se alejan de la postura de Hinton empiezan a ser suficientemente sólida como para obviarla (o equipararla en bloque frente a unos pocos investigadores -entre ellos Hinton-).
La contribución de Hinton al campo del aprendizaje automático con redes neuronales es IMPORTANTÍSIMA, VITAL, y más que merecidísimo el Nobel porque gracias a su trabajo se abren posibilidades esperanzadoras para la humanidad en campos dispares cuyos resultados veremos en las próximas décadas. Nadie puede negarle eso porque su contribución a la Ciencia y la Computación es incontestable. Pero tampoco hay que caer en la falacia de autoridad y otorgarle una infalibilidad papal que bordea peligrosamente el culto.
Dicho eso, siempre hay que mantener una ventana a la duda. Y para mi el peligro de la IA no es que se desalinee autónomamente. No es necesario que tome consciencia; ya son reales los peligros reales de convertirla en un arma de destrucción social y económica (cuando explote la burbuja financiera de la IA en Silicon Valley (por ejemplo Soft Bank está cogidísimo de las pelotas con OpenAI y más vale que la moto que vende Sam Altman empiece a generar ingresos NETOS) los efectos serán devastadores en la economía mundial, siendo las Big Techs las de mayor capitalización bursátil en el MSCI World).
#17 Los únicos problemas que he visto de la olimpiada matemática son de simplificación de raíces, factorización y cosas así.
En cualquier caso el modelo lo que debería hacer es plantear a partir del le guaje natural el problema y llamar a un programa de cancilonqie sepa calcularlo.
#1 Un paquete de calculo simbólico también los resuelve, con menor coste computacional, seguramente. Usar un LLM con acceso a herramientas de calculo simbólico sería el camino ganador en el mundo real.
#25 Sí, vale, quiero decir hype aparte. Nada de lo que dice este tipo se sostiene ni de lejos. La contradicción con todos los estudios que hay sobre esto es total.
Habrá otros diciendo los mismos salmos místicos. No significa nada. Lo que no es medible no existe.
#23 No hay nadie defendiendo que los LLM sepan razonar. Sí que hay muchos papeles demostrando que no lo hacen. Incluso los que critican a los anteriores dicen que se trata de una ilusión.
Ni siquiera el chain of though ayuda en nada, pues falta la capacidad de reconocer la causalidad. El lio es especialmente gordo si se trata de relaciones temporales. Los modelos no tienen ninguna vergüenza de contradecirse a sí mismos, incluso dentro del mismo párrafo.
Lo único que hacen es comparar palabras de forma muy sofisticada, pero sin ninguna comprensión.
Esto no tiene remedio. Dicho de otro modo, no hay ningún proyecto que esté proponiendo nada distinto. Sí que hay papeles de investigación diciendo cosas, poco concretas de momento.
Lo que tiene más sentido de todo lo propuesto es usar razonamiento simbólico. Esto necesita de un primer paso de establecer conceptos que asignar a los símbolos, o serían simples dibujitos. Está por ver cómo usar LLMs para realizar dicha asignación.
El resto de pasos me parecen más logrables. Se trata de ir modificando el prompt a medida que crece, pero en cualquier lugar del prompt que haga falta, incluido el principio, para ir guiando a la máquina alucinadora.
No digo imposible. Quizás sea posible, pero está por ver el cómo establece los conceptos un trasto de encontrar simlitudes estadísticas. ¿Por recursión?
#11 ContracomunistaCaudillo 
