@Jakeukalane mira esta comparación https://github.com/ggerganov/llama.cpp/discussions/4167 en uno de los comentarios ponen un equipo con una 4090 de referencia

@Jakeukalane Solo tiene sentido si quieres modelos muy grandes a un rendimiento mas bien lento, pero mayor que usar la cpu. Similar a usar una única gpu pero con mucha mas vram. Y creo que no valía para entrenar modelos, ni para muchas casuísticas, aunque esto ya no estoy tan seguro, hablo de memoria
Hasta donde yo se pues en profesional quiere tener mas tarjetas en paralelo por el rendimiento extra que dan, o la capacidad de usar otros lenguajes como cuda. Esto es simplemente que para la gente que esta jugando con llama y modelos relativamente grandes.
@vazana probablemente lo veamos mas pronto que tarde, arm ya lo hace, lo veremos en x86. Aunque juraría que intel ya tiene algo así a nivel de servidor

@vazana A ver, Cuda es un lenguaje de programacion de gpus, propietario de nvidia. Y también le pone a ese nombre a ciertas unidades de procesamiento. Amd tiene rocm, e intel tiene otro, aparte que hay dos libres, Opencl y vulkan
Pero en AI, y en llms en general tu rendimiento tiene un cuello de botella, enorme, en los tiempos y rapidez de acceso a la memoria, no la capacidad de calculo. Es decir quieres ancho de banda sobre todo. El cual las gpus tienen un montón, mientras que las cpus mucho menos.
La gran ventaja de los procesadores m1 m2 y m3 es que al tener la ram soldada al chip tienen unos anchos de banda comparables a las tarjetas gráficas, que si bien para otras cosas son bastante meh, y tienen algunos problemas, para AI van genial, al punto que a ciertos precios, Apple es la opción mas barata y eficiente, fíjate lo absurdo que esta el mercado.
Claro todo esto podría cambiar si Nvidia, Amd, Intel o los chinos que están haciendo gpus, sacasen tarjetas gráficas mas básicas pero con mucha vram. Pero no quieren por que les quitaría ventas mas jugosas. Nvidia no ha llegado a esa valoración absurda en el mercado por dar un buen producto calidad precio a sus clientes

@Tuatara es este meme, pero con comunismo @Chaotic_Resucitado_

@Jakeukalane A ver estamos hablando de cosas diferentes. Yo no hablo del sector profesional, estamos hablando de equipos para el que quiere curiosear a un nivel un poco pro, y que ademas sean equipos compactos, ya que thorin es nomada. La torre de Mac tiene un precio incluso mas absurdo que las demás, yo hablo de los mac mini "gordos"
Pero si quieres cargar modelos de mas de 24 gigas, hay un rango de precios en el que los mac studio y los macbook pro, ofrecen lo mejor en primera mano, sin meterte en lios de usar mas de una p40 de segunda mano y otras opciones mas de buscarse la vida, como lo ya mencionado usar rx580 trucadas a 16gbs, que consumen mucha electricidad y no son compactos.
Por 2900 tienes un equipo completo y autosuficiente de 64 gigas a 400GB/s, este precio apenas te da para una nvidia 4090 con un equipo adecuado para ella. Por 3500 pavos ya tienes un equipo de 92 GB con 800GB/s de ancho de banda capaz de cargar modelos que pertenecen a tarjetas de 80gbs muy aceptables. Una 4090 tiene un ancho de banda de memoria de 1008GB/s, que es lo que te limita normalmente
@vazana no necesitas cuda para usar llama.cpp o stable difussion
@thorin

@Jakeukalane ¿hay algo mejor en tamaño y potencia sin irte a tarjetas gpu profesionales? le puedes meter casi 200 gigas de ram con una latencia y ancho de banda brutal, que un pc normal no puede ni soñarlo, y "solo" con 64 ya puedes cargar prácticamente todo. La ram soldada al procesador tiene una ventaja brutal en las llms
PD: parece que metí la pata y los mac mini como tal no tienen los procesadores buenos de apple, pensaba que todos los mini ordenadores de apple se llamaban mini, hablo del mac studio, la version normal tiene 400GB/s de ancho de banda, la ultra el doble

@thorin mira que soy anti apple, pero si el gasto inicial eso no es problema, los mac mini nuevos en relación calidad precio para esto son brutales, su ram soldada da un rendimiento brutal @Malversan @trasier

@thorin para probar con ram llega, no necesitas que sea vram. No es tan lento, la peña es muy impaciente
Y aliexpress vende rx580 trucadas para tener 16gbs por menos de 100 euros cada una
@Malversan @trasier

@painful yo no me entere en su momento, y tampoco lo voy a mirar ahora honestamente.
@carademalo
Puede ser, mi experiencia de estar en malta, es que polémicas artificiales que salían aquí, había veces que en las redes sociales de allí llegaban una historia clavada pero situada en italia, y hablando con algún griego me decían que también le daba esa sensación respecto a los noticias que venían de grecia.
Y hubo algún caso bastante absurdo en el que las historias no tenían sentido por como funciona la legislación europea.
El problema es que hace 3, 4 años de esto y no recuerdo ningún ejemplo concreto
@Golan_Trevize

@Golan_Trevize Prejuiciando y malmetiendo en un momento.
La gente normal estaría disfrutando el carnaval, pasando menos tiempo aquí, mientras que los amargados y cibervoluntarios estaban aquí despotricando esos días

@paumal a ver no se que hice mal exactamente, pero el mio paso de la copia de seguridad. Espero que al volver al movil A me vuelva todas las conversaciones de A. Si pierdo las de B me importa menos la verdad
lLo mas estúpido de todo es que tenia whatsapp web en el ordenador, y no te deja sincronizar esas conversaciones que aun tienen ahí con el móvil, te las borra
@berkut

@berkut tengo un problema similar, solo que yo aun estoy en movil B, a la espera de arreglar el A, me acoplo
Pero mi pequeña investigación me dice que whatsapp es una chapuza y que pinta feo

@EsePibe prueba este, no es linux, es un os hecho en ensamblador y esta hecho para funcionar en equipos muy antiguos, y aun con todo ser agil https://www.kolibrios.org/es/

@thorin yo digo lo que he oído comentarios en la vida real, últimamente estoy poco aquí, y no me meto en esas noticias la verdad
pero coño es que cambia de orden de magnitud el "delito"
a ver se nota que un lumbreras precisamente no era
@eldarel @Charles_Dexter_Ward

@eldarel Desertor, y que robo un helicóptero militar cargado de equipamiento, para dárselo al enemigo. Que la gente pasa por alto ese detalle. Anda que no habrá desertores, como en todas las guerras
@Charles_Dexter_Ward

¿que ha liado esta vezSupercinexin ?