#69 Hay varias formas de quitarle censura a modelos. Una es entrenarlo con el tipo de datos que quieres que dé, y otra es con una técnica llamada "abliteration" que básicamente identifica los pesos que provocan la respuesta censurada y los anula. Es algo así como cortar aquellas conexiones neuronales que se activan exclusivamente durante una respuesta censurada y no durante cualquier otro tipo de respuesta.
#45 Sí que se puede porque 1. el entrenamiento también incluye datos fiables de tianmen y taiwan, y 2. hay diversas técnicas de quitar censuras de un modelo.
#56 Los distills de 8 y 70B están hechos a partir de llama 3.1 y 3.3 respectivamente. Ollama debería haber incluído los nombres originales de los distills en su nombre.
#50 Para inferencia necesitas mucho más. Son 37B de parámetros activos por token, y en cada token puede ser diferente. Lo de 37B activos permita que funcione muy rápido en comparación con un modelo denso, pero no te libras de tener que alojar todo el modelo en memoria. La versión más cuantizada que existe (y que funcione!) ocupa 131 gb (solo el modelo, sin contar con el contexto).
#52 Según cuanta velocidad quieras, y cuanto lo comprimas. Han conseguido ejecutarlo con menos de 200 gb de ram con una calidad aceptable (y rendimiento aceptable para según que usos).
#88 La cantidad de corrupción es proporcional a la cantidad de poder que uno tiene. Eso de poder presentarse a alcalde no es muy diferente a como es en China. La cuestión es que existe y que la gente vota a sus dirigentes locales. Cualquiera puede presentarse como candidato. No me malinterpretes, no me gusta el sistema de votaciones de China un pelo. Pero la idea de que es todo una dictadura pura y dura es incorrecta.
#82 Resalto lo de "en sus circunstancias". Yo también habría sabido hacer idealista en aquel entonces. Pero yo no podría haber mantenido un servidor con su conexión funcionando durante el suficiente tiempo para poder tener ingresos que lo mantengan (de hecho no me habría dado ni para un solo mes), ni podría haber dedicado nada de dinero a publicidad, ni SEO, ni nada de eso. Tampoco sabemos qué conexiones puede haberle facilitado que tenga éxito. A veces el apartado técnico de uno de estos proyectos es lo más obvio, pero se te olvidan los inmensos costes de la gestión y el mantenimiento. Tú tampoco hubieras podido, salvo que seas de una familia adinerada, en cuyo caso jugamos en una liga diferente.
#86 Lo puedes llamar democracia cuando los únicos candidatos viables son todos corruptos? Decir que un país no es democrático no convierte a otro automáticamente en democrático. No me malinterpretes. Al menos en EEUU hay posibilidades de cambio que no hay en China, pero la cosa no pinta muy bien que digamos.
#8 Del artículo: "según Yann LeCun, «para aquellas personas que ven el rendimiento de DeepSeek y piensan que China está superando a los Estados Unidos en inteligencia artificial, están leyendo mal. La lectura correcta es que los modelos de código abierto están superando a los propietarios»". De hecho hay otros modelos libres de varias partes del mundo que también son rival de modelos cerrados en ámbitos variados (no todo requiere el modelo más grande).
#2 deepseek es ambos: el código (de entrenamiento, inferencia, etc) es abierto y la licencia de los pesos es bastante permisiva. El modelo tiene unas restricciones de uso que hace que no sea técnicamente "open source" pero me parecen bastante razonables (como prohibir el uso militar). Ya hay gente haciendo un modelo como R1 pero libre sin restricciones, usando todo el material libre que han publicado.
#20 Cualquiera habría podido crear zip2 en sus circunstancias. El problema es que sus circunstancias fueron muy excepcionales. La mayoría de gente en esa época no tenía el suficiente tiempo y dinero para hacer eso, y la mayoría de la gente en esa época no tenían los contactos adecuados tampoco. Es un cúmulo de circunstancias favorables, no simplemente "tener dinero" y ya está, pero está claro que la riqueza familiar ha ayudado y mucho.
#8 Tener pasta no es suficiente, pero tenemos que tener en cuenta quienes compiten con quienes para triunfar: Musk y demás ha sido más listo y ha dedicado más esfuerzo etc. etc. pero en comparación con otra gente rica. Simplemente juegan en otra liga.
#56 Retuneado desde cual? deepseek R1 es un fine tune de deepseek V3, hechos por la misma gente. Y V3 de por sí ya tiene unas cuantas innovaciones que han publicado.
#71 He dicho que la situación es cuestionable (y más aun a partir de ahora), no que no tengan libertad. Lo de democracia es otra historia, solo una quita parte ha votado al presidente actual, y el candidato que batió records de donaciones individuales por todo el país en 2016 y 2020 fue desplazado gracias a la enorme influencia que tienen los ultra ricos sobre los "demócratas".
No me gustan ninguno de los dos países, pero tengo amigos españoles que están aprendiendo mandarín y no conozco a nadie español que quiera irse a EEUU.
#47 Por lo que leo por ahí la gente que lo usa para roleo erótico o violento dicen que muy rara vez les da rechazos. O sea deepseek está mucho menos restringido. En comparación los modelos grandes de eeuu son unos mojigatos.
#48 Creo que se refiere a los "distills" de llama, qwen, etc. que en algunos sitios se llaman por ejemplo "deepseek R1 32B" a secas y eso confunde a la gente. El deepseek real es enorme y hacen falta cientos de gb de memoria rápida.
#31 Al revés: Deepseek puedes bajarlo y usarlo y modificarlo como te de la gana (incluyendo quitarle la censura que tiene) mientras que chatgpt es un modelo cerrado y privativo, solo puedes usarlo mediante sus servidores. Y la situación de libertades y democracia de EEUU es más que cuestionable.
#102 No DeepSeek R1, sino uno de los "distills", o sea modificaciones de modelos como Llama 3.3 para que se parezca lo más posible al modelo original. Pero teniendo casi 10 veces menos parámetros no te puedes esperar las mismas capacidades.
#10 Si te refieres a lo que han gastado OpenAI para hacer o1 no es un fraude (al menos que yo sepa), tan solo fueron los primeros en conseguir hacer un modelo con esas características. DeepSeek V3 y R1 por otro lado es muchísimo más barato, entre otras cosas, por las innovaciones que explican en su paper, pero también porque han podido usar ChatGPT y Claude para crear un corpus de entrenamiento a medida. De hecho la mayoría de modelos libres se creen ChatGPT a veces, y a veces se creen Claude, porque han sido entrenados con mucho texto que han generado éstos (lo cual se mencionan a sí mismos algunas veces debido a sus "system prompt").
#131 "Dices que te importan las violaciones de los derechos humanos de otros que no sean gays... pero solo me pones en tu comentario s agresiones a gays"
Lo puse como ejemplo de posts que ni siquiera aparecen la mitad en menéame cuando el que enviastes tú sí que ha aparecido y en portada. Claro que me importan todas las agresiones, pero lo único que puedo hacer es darlas a conocer. Qué quieres que le haga? (Edit: acabo de leer en la portada violencia racista en mi ciudad natal. Debería copiarte todas las noticias que veo que me importan?)
"y aún por encima te partes el culo cuanto te cuento mi historia personal y las secuelas físicas que me han causado."
Qué te ha hecho creer que me parto el culo? En serio. Debe de ser mi autismo porque no lo entiendo. Lo siento si he hecho sentir que me reía de ti.
"¿Hay alguna noticia de alguien que no sea homosexual agredido en tus denuncias? Ni una."
El amigo de el de Sevilla es hetero y aun así también recibió una paliza la semana pasada.
"y el hecho que te cachondees de alguien como yo"
Sigo sin entender donde me he cachondeado. Una vez más, lo siento.
"por lo que me hizo las cloacas del estado que ahora le va el rollo LGTBI (mañana igual se vuelven unos homofobos de la hostia)"
Los del PSOE solo está a favor de lo que les da votos. Tú mismísimo lo reconoces en ese paréntesis. Así que no sé que culpa tiene la gente gay de todo eso. Por qué tienen que pagar los justos por pecadores?
"Cuando estabais callades, callados y calladas eran menos"
Cuando estábamos callados no se sabían. Tengo un amigo que fue violado repetidamente de niño y no lo sabe nadie más que amigos muy cercanos. Al estigma del abuso sexual tienes que añadir la homofobia. Por eso por ejemplo los casos con los curas pederastas no se ha sabido durante décadas.
"Noticias de charlas inútiles con cargo a los impuestos y testimonios hay unos cuantos"
Si sigue habiendo tanta discriminación y violencia no es tan inútil, digo yo. En ese caso en particular lo problemático que le veo es que no les dejaran salir ni a mear, pero el video en sí es bastante corto e inofensivo. A mi me habría ayudado muchísimo en su día. Para que te hagas una idea, pasé toda la adolescencia con PÁNICO a que se pudiera descubrir que quizás yo era gay (no lo sabía ni yo).
#17 Yo no le habría prestado la más mínima atención a un chatgpt chino, si no fuera por el hecho de que es libre, o sea que es de todos y no solo de una empresa de EEUU con ánimo de lucro.
Que por cierto, ayer salió Qwen-2.5-VL, otro modelo chino libre, esta vez en su versión multimodal (para reconocimiento de imágenes y videos).