Sam Altman, CEO de OpenAI —compañía desarrolladora de ChatGPT— participó hace unas semanas en el evento 'Imagination in Action', organizado por el MIT… y finalmente su intervención se publicó ayer mismo en YouTube. En un momento en el que ChatGPT está en boca de todos como buque insignia de la industria de la IA, algunos de los temas que menciona son ciertamente relevantes.
Dice eso ahora porque el número de parámetros ha llegado al cénit de eficiencia y ahora más parámetros de hecho empeoran el resultado de los modelos actuales. El momento en que puedan aumentar el número de parámetros porque alguien descubra cómo continuar aumentando la eficiencia... volverán a esa carrera como si nada.
La tecnología actual de IA sigue siendo una caja negra, así que puede que incluso ocurra como con los humanos... que los modelos de lenguaje puedan ser extremadamente inteligentes... pero que den problemas cuando sean demasiado inteligentes.
En cualquier caso, lo que no me deja dormir últimamente por las noches es la idea de que alguien pueda programar una IA para usarla en un ordenador cuántico. ¿Qué ocurrirá cuando una red neuronal pase de funcionar de manera binaria a manejar una infinidad de estados en superposición y pueda incluso crear partículas mediante entrelazamiento?
"estamos palokestamos....... paganar passssssssssssssssstaaaaa, el resto ya... cuando llegue el dia veremos (a que pringado, o hecho del pasado, le cargamos el marrón)"
atienda querido lector a las comillas, con las que este humilde meneante quiere poner, en el sentido mas figurado, palabras (que encajan con sus actos hasta el momento) en boca de este personaje
#12 Tengo claro que no se refiere a eso. Este hombre hace dos artículos estaba hablando de AGI y sparks de no sé qué y se le suele creer (yo no) porque ha insinuado por activa y por pasiva que el crecimiento que esperan es exponencial, emulando la famosa Ley de Moore pero versión AI. Esas mejoras que indicas representarían una mejora lineal, no exponencial. Para que fuera exponencial tendrían que ser capaces de reducir la cantidad de parámetros por un factor 40x (dicen en el artículo que pasaron de 540e9 parámetros a 13e9) en cada iteración (la próxima deberían ser unos 320 parámetros... y la siguiente unos 8...). Aunque parece que también da un poco igual, porque parece que ya han saturado y más parámetros no implica mejor calidad.
Lo que vengo a decir más arriba: si quieren mantener la progresión geométrica tiene que exprimir el know-how, mejorar ese 40x con mejoras en el conocimiento... prácticamente imposible, desde luego no es esperable. Salvo sorpresón monumental, no espero gran cosa de esta gente.
realiza un vaticinio sorprendente para muchos: que nos estamos acercando al límite de tamaño de los LLM (grandes modelos de lenguaje, como GPT-4 o Bard)… pero que eso no significa que hayan alcanzado su techo de capacidad, pues podremos mejorarlos de otras maneras.
Así que, pequeño Sam, tu approach no es escalable... vaya, quién lo hubiera dicho... es que te tienes que reír. Es inquietante porque ahora a ver de dónde saca los argumentos para su aclamada e inminente mejora exponencial. Si cree que va a estudiar mucho y así se va a inventar algo ultranovedoso, que se lea un poco de la investigación en IA de los años 60 y 70, que seguro que lo devuelve a la realidad.
es importante tener un diálogo abierto sobre esa tecnología, incluso cuando eso les ha llevado a él y a otros directivos de la compañía a decir 'cosas tontas'
Lo dicho, un sinvergüenza.
Esta noticia no interesa por aquí a pesar de ser las más relevantes en este tema, demasiado fanboy: no llegará a portada.
Comentarios
Sam es es un Elon 2.0
Dice eso ahora porque el número de parámetros ha llegado al cénit de eficiencia y ahora más parámetros de hecho empeoran el resultado de los modelos actuales. El momento en que puedan aumentar el número de parámetros porque alguien descubra cómo continuar aumentando la eficiencia... volverán a esa carrera como si nada.
La tecnología actual de IA sigue siendo una caja negra, así que puede que incluso ocurra como con los humanos... que los modelos de lenguaje puedan ser extremadamente inteligentes... pero que den problemas cuando sean demasiado inteligentes.
En cualquier caso, lo que no me deja dormir últimamente por las noches es la idea de que alguien pueda programar una IA para usarla en un ordenador cuántico. ¿Qué ocurrirá cuando una red neuronal pase de funcionar de manera binaria a manejar una infinidad de estados en superposición y pueda incluso crear partículas mediante entrelazamiento?
#4 jaja pa k kieres saber eso salu2
#9
"No estamos aquí para masturbarnos
por el número de parámetros". El CEO de OpenAI quita importancia a lo que más se alababa de GPT-4"Habla por ti...
"estamos palokestamos....... paganar passssssssssssssssstaaaaa, el resto ya... cuando llegue el dia veremos (a que pringado, o hecho del pasado, le cargamos el marrón)"
atienda querido lector a las comillas, con las que este humilde meneante quiere poner, en el sentido mas figurado, palabras (que encajan con sus actos hasta el momento) en boca de este personaje
"estamos aquí para masturbarnos y ya..." Añadió.
Soy yo, o el chatgpt gratuito es cada vez peor?
#7 eres tú
#8 pues me quitas un peso de encima
En el video se escucha de fondo a alguien decir: Hay gente pa tó, Sam
#12 Tengo claro que no se refiere a eso. Este hombre hace dos artículos estaba hablando de AGI y sparks de no sé qué y se le suele creer (yo no) porque ha insinuado por activa y por pasiva que el crecimiento que esperan es exponencial, emulando la famosa Ley de Moore pero versión AI. Esas mejoras que indicas representarían una mejora lineal, no exponencial. Para que fuera exponencial tendrían que ser capaces de reducir la cantidad de parámetros por un factor 40x (dicen en el artículo que pasaron de 540e9 parámetros a 13e9) en cada iteración (la próxima deberían ser unos 320 parámetros... y la siguiente unos 8...). Aunque parece que también da un poco igual, porque parece que ya han saturado y más parámetros no implica mejor calidad.
Lo que vengo a decir más arriba: si quieren mantener la progresión geométrica tiene que exprimir el know-how, mejorar ese 40x con mejoras en el conocimiento... prácticamente imposible, desde luego no es esperable. Salvo sorpresón monumental, no espero gran cosa de esta gente.
realiza un vaticinio sorprendente para muchos: que nos estamos acercando al límite de tamaño de los LLM (grandes modelos de lenguaje, como GPT-4 o Bard)… pero que eso no significa que hayan alcanzado su techo de capacidad, pues podremos mejorarlos de otras maneras.
Así que, pequeño Sam, tu approach no es escalable... vaya, quién lo hubiera dicho... es que te tienes que reír. Es inquietante porque ahora a ver de dónde saca los argumentos para su aclamada e inminente mejora exponencial. Si cree que va a estudiar mucho y así se va a inventar algo ultranovedoso, que se lea un poco de la investigación en IA de los años 60 y 70, que seguro que lo devuelve a la realidad.
es importante tener un diálogo abierto sobre esa tecnología, incluso cuando eso les ha llevado a él y a otros directivos de la compañía a decir 'cosas tontas'
Lo dicho, un sinvergüenza.
Esta noticia no interesa por aquí a pesar de ser las más relevantes en este tema, demasiado fanboy: no llegará a portada.
#11 O quizás lo que dice tenga que ver con esto:
https://www.xataka.com/robotica-e-ia/open-source-nos-puede-eclipsar-google-cree-que-ella-openai-estan-perdiendo-carrera-ia
Con soluciones imaginativas están empezando a conseguir los mismos o mejores resultado con muchisimos menos parámetros.