Yo tengo en mi home server montado ollama con varios modelos 4-16b. Tiene una GPU Intel integrada así que solo puede hacer inferencia por CPU pero bueno, tengo paciencia.
Para chat tengo Open webui que crea una interfaz tipo ChatGPT bastante decente. Si hablo en inglés funciona decentemente pero en español noto que fallan mucho. Es el mayor problema que le veo a los modelos pequeños. Ojalá algún equipo español haga un LLM local especializado.
También tengo un opencode conectado al ollama como alternativa a Claude Code pero con modelos así es totalmente inútil. 90% del tiempo es incapaz de leer un fichero y jamás he conseguido que haga una edición.
Las distribuciones regionales o como se llamen en general no son duplicar esfuerzos ni malgastar. Es lo que hacen la mayoría de empresas grandes que usan Linux. Si tienes miles de ordenadores iguales te conviene tener una instalación adaptada y preconfigurada. No vas a estar instalando los sistemas de un colegio uno a uno como si fuera el ordenador de tu casa. En Windows y Mac no puedes por copyright pero en Linux puedes llamarlo como quieras aunque al final sea un Debian con algún perfil de instalación. El trabajo lo van a tener que hacer igual, si quieren ponerle un nombre y un logo allá ellos.
Alguna distribución regional habrá que sea un chiringuito pero el trabajo que hacen es necesario independientemente de que decidan ponerle un nombre o dejar Debian.
#20 si hay que importar muchas fotos creo que es mejor antes usar un programa como Czkawka para que encuentre repetidas o muy similares y así hacer una limpieza previa.
Traducción de mierda. ¿Cómo va a causar pérdidas una bajada de la dificultad? Si acaso reduce costes a los mineros que ahora necesitan menos potencia de cómputo para minar bloques.
Las preguntas importantes son: ¿Que cosas ya no se pueden hacer que se podían hacer en versiones anteriores? ¿Qué cosas se han copiado de MacOS? Y yo uso Gnome desde hace años pero es que cada vez tiene menos features.
Las primas por objetivos tienen que se para los de ventas y marketing. Ponerle eso al currela que está reponiendo yogurs de ser un malnacido porque no tienen apenas poder de aumentar las ventas.
#70 Claude es un puto peligro cuando se le acaba el contexto y hace compactación. Muchas veces olvida de las órdenes que le has dado y empieza a hacer estropicios.
Ayer por ejemplo me ofreció borrar unos tests que fallaban. Le dije que ni de coña borrarlos, que arreglara el código. Al cabo de un rato hace compactación y veo que dice "oh. Se me había pasado borrar estos tests" y crea un subagente para borrarlos.
Ahora mismo estoy mirando a ver si puedo hacer que un hook que cuando vaya a hacer compactación suene una música de película de miedo para estar atento a lo que hace la IA a partir de ese momento.
#5 cuando sea realmente capaz de sustituir a trabajadores humanos subirá de precio hasta acercarse a casi lo que costaría contratar a una persona. Es el capitalismo.
De todas formas con 200$ no tienes "trabajo infinito". En mi empresa tengo el Claude Code de 200$ y gasto las peticiones mensuales en unos días. Me está costando unos 1000$ al mes.
No he leído el artículo pero la imagen/meme que acompaña el envío no es correcta.
La sal en europa suele venir con algún antiaglomerante, la harina suele tener hierro y varios agentes más, el agua tiene fluor... Acabo de mirar un paquete de harina orgánica que tengo en casa y tiene 5 ingredientes añadidos. La lista de ingredientes si vamos al detalle no sería tan diferente.
#33 si se quiere se puede. Yo fui a Irán hace unos 10 años y como por las sanciones no podían usar nada de fuera tenían su propio sistema de pago con tarjeta, su propio Google con servicios similares, su propio Uber para taxis... En Rusia también tiene su versión local de todo lo que nosotros usamos de Estados Unidos. Ambos países muy lejos del poderío económico de la Unión Europea.
Como ejercicio está bien pero para una web como la que ha hecho no necesita CDNs ni la mitad de cosas que ha usado. Una web en PHP en un hosting tipo OVH ya serviría. No me ha quedado claro para qué necesita hacer llamadas a Claude.
#17 el chino tiene ventaja en la compresión de información pero no en la calidad de las respuestas porque mientras está recibiendo o generando tokens está usando el mecanismo de atención para resolver el problema. Un LLM solo cambia su estado interno cuando se procesan tokens por lo que darle más tokens aunque sea un simple "gracias" le favorece. Por no hablar que el tokenizado por ejemplo de OpenAI favorece al inglés y hay secuencias de varias palabras que mapean a un solo token. Eso no pasa con los caracteres chinos.
Y luego el reinforcement learning que usan para que sea capaz de resolver tareas es principalmente en inglés para que saque buena nota en los benchmarks. Es de sobra conocido que los LLMs en general hacen más caso a las órdenes escritas en inglés.
Eso no quita que puedas usar las LLMs en español, chino o buriato y hagan las cosas medianamente bien pero que funcionan peor que el inglés por razones puramente estadísticas es un hecho.
#9 si en ese experimento hubierais usado la API para ver la perplejidad de cada token veríais que al cambiar de idioma de repente la perplejidad subía mucho y por tanto estabais haciendo más difícil el trabajo del modelo. En un problema complejo será más proclive a alucinar cosas raras.
#10 el 90% de los textos sobre programación están en inglés así que el LLM tendrá una perplejidad mayor procesando tokens en otro idioma por pura estadística. Más perplejidad implica más probabilidad de alucinar. Se puede usar en otros idiomas pero las empresas americanas optimizan para el inglés. No estás aprovechando todo su potencial.
#4 llevamos dos o tres años años con esto de las IA y yo aún no he notado el supuesto ahorro por ninguna parte. Los servicios de suscripción, licencias, juegos, etc no han parado de subir de precio.
Para chat tengo Open webui que crea una interfaz tipo ChatGPT bastante decente. Si hablo en inglés funciona decentemente pero en español noto que fallan mucho. Es el mayor problema que le veo a los modelos pequeños. Ojalá algún equipo español haga un LLM local especializado.
También tengo un opencode conectado al ollama como alternativa a Claude Code pero con modelos así es totalmente inútil. 90% del tiempo es incapaz de leer un fichero y jamás he conseguido que haga una edición.