Menéame: comentarios [3900352]

#54 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

sting — Tue, 30 Jan 2024 20:40:39 +0000

#53 Gracias por la info!!

» autor: sting

#53 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

mierdeame — Mon, 29 Jan 2024 14:35:43 +0000

#52 old.reddit.com/r/StableDiffusion/comments/160om1k/so_close_to_running_

» autor: mierdeame

#52 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

sting — Sun, 28 Jan 2024 23:27:16 +0000

#51 Ah sí? No lo sabía. Stable Diffusion puede usar tarjetas de AMD?

» autor: sting

#51 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

mierdeame — Sat, 27 Jan 2024 21:59:22 +0000

#50 Por lo menos funciona con Stable Diffusion en Ubuntu

» autor: mierdeame

#50 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

sting — Sat, 27 Jan 2024 17:29:28 +0000

#35 El problema es que esa tarjeta no sirve (aún) para la IA.

» autor: sting

#49 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

LoboAsustado — Thu, 25 Jan 2024 17:28:41 +0000

#48 un i5-7500 CPU @ 3.40GHz con 32Gb y una nvidia RTX 1050 de 2 Gb, no me pidas mucho mas hasta que llegue la devolución de hacienda

» autor: LoboAsustado

#48 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

ACEC — Thu, 25 Jan 2024 16:41:04 +0000

#47 ¿pero que tienes, un 486?
Añade al prompt algo como "think step by step" y verás como razona.

» autor: ACEC

#47 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

LoboAsustado — Thu, 25 Jan 2024 14:31:14 +0000

#46 Le echare un ojo , pero no era tanto el codigo en si como el "razonamiento" que tenia que hacer para sacarlo. Me ha sorprendido gratamente. Ahora estoy probando cosas con el dolphin-mixtral y va la hostia de lento , pero ahi va , sacando un caracter cada 5 minutos o asi

» autor: LoboAsustado

#46 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

ACEC — Thu, 25 Jan 2024 10:38:24 +0000

#39 para código, mejor que zephyr, te recomiendo deepseek-coder que tiene también una versión de 6.7b

» autor: ACEC

#45 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

caramelosanto — Thu, 25 Jan 2024 03:24:32 +0000

#44 cero impreciso, todo lo contrario. Era un chascarrillo por el tinte de tu mensaje nomás.

» autor: caramelosanto

#44 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

Razorworks — Thu, 25 Jan 2024 00:27:47 +0000

#43 ¿Hola? Si ves que he dicho algo impreciso me avisas.

» autor: Razorworks

#43 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

caramelosanto — Thu, 25 Jan 2024 00:18:19 +0000

#42 de fanboys de Apple a fanboys de AMD. Como cambian los tiempos pero no las mañas.

Saludos,
- Fanboy de Nvidia

» autor: caramelosanto

#42 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

Razorworks — Wed, 24 Jan 2024 20:40:25 +0000

#24 #26 LM Studio tiene soporte de AMD ROCm beta.

Y si las cosas pintan como AMD quiere que pinten, es posible que en el futuro en la IA no todo sea tan "Nvidia-only". Y es que AMD esta ofreciendo material competente, más barato que Nvidia, con el doble de RAM (¡mas importante que la potencia de procesamiento!), y consumiendo menos. Coño, es que las 4090 gastan tanto que se queman solas, cojones...

P.D.: Y no nos olvidemos de los AMD que llevan iGPU integradas. Un 8700G admite hasta 256GB gastando 65W...

» autor: Razorworks

#41 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

woopi — Wed, 24 Jan 2024 20:13:53 +0000

#21 Por cierto, bromas aparte tampoco corre en el mío. Tengo 32Gb de RAM y una nVidia. Pero no corre por que el i7 de 2 generación no soporta la instrucción avx2, que parece que es una vectorial "avanzada" implementada en la 3 versión de los micros de intel. Soy de informática vintage y no me apetece cambiar de ordenador porque este me llega para uso general... Por lo que ya jugaré con otros locales menos problemáticos. Saludos!

» autor: woopi

#40 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

woopi — Wed, 24 Jan 2024 20:10:03 +0000

#21 Pues paso de probar en la Raspberry...

» autor: woopi

#39 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

LoboAsustado — Wed, 24 Jan 2024 19:54:24 +0000

#14 Le he puesto el zephir 7B con este prompt
C# method to read a json file from a postman collection export that will read the collection variables, launch the requests and execute the test scripts

Y lo he dejado a su bola...una hora mas tarde sigue produciendo codigo , con explicaciones y razonamiento. Cuando termine le echare un ojo a ver si se parece a lo que hice yo en su momento y a lo mejor aprendo algo

Lo mas probable es que alucine bastante el LLM y pierda de vista el objeto de la pregunta , pero como ejercicio de programacion es lo bastante bueno como para evaluar lo bien que entiende el concepto , y como estructura las respuestas. Obviamente no espero que sea capaz de reproducir como interpretar el codigo javascript que hace las pruebas en postman desde C# , pero si saca una forma de hacerlo en C#, igual pasa a ser mi modelo favorito para programacion.

Para multimodal , el lava es como minimo curioso. Arrastras una foto sobre el chat, le dices que describa el contenido y la verdad es que me ha sorprendido muy gratamente

» autor: LoboAsustado

#38 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

oscar8x — Wed, 24 Jan 2024 19:42:54 +0000

#26 Con los MAC ARM también puedes ejecutar los modelos 7b (con 16GB) y si tienes 32Gb los 14b. El rendimiento de un 7b en un M1 Pro es similar a una RTX3080 en velocidad de respuesta. Sin embargo, lo dicho por ahí arriba, los modelos pequeños valen para hacer algunas pruebas y cuatro cosillas

» autor: oscar8x

#37 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

shinjikari — Wed, 24 Jan 2024 10:49:25 +0000

#36 ¿Qué complicaciones? No recuerdo haber tenido ninguna.

» autor: shinjikari

#36 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

mandelbr0t — Wed, 24 Jan 2024 10:08:37 +0000

#33 Impedimentos ninguno, complicaciones muchas.

» autor: mandelbr0t

#35 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

mierdeame — Wed, 24 Jan 2024 09:26:02 +0000

#21 Yo tengo una 7900XTX con "sólo" 24GB de RAM y se supone que es una gráfica pepino (sí, enfocada a gaming más que a otras tareas)

» autor: mierdeame

#34 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

mierdeame — Wed, 24 Jan 2024 09:24:29 +0000

#13 Puedes incluso usar Img2Img e Inpaint para alterar imágenes existentes o usarlas de base...

» autor: mierdeame

#33 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

--660959-- — Wed, 24 Jan 2024 09:02:58 +0000

#29 ¿qué impedimento técnico habría para ello?

» autor: --660959--

#32 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

ctm2000j — Wed, 24 Jan 2024 08:31:14 +0000

#16 la mía (6700xt) la plataforma no la dectecta automáticamente al menos...

» autor: ctm2000j

#31 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

--670242-- — Wed, 24 Jan 2024 07:57:11 +0000

#5 para lo de la tía berta existen otros modelos...

» autor: --670242--

#30 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

sotillo — Wed, 24 Jan 2024 07:22:35 +0000

#4 Muchas gracias, una explicación cojonuda

» autor: sotillo

#29 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

mandelbr0t — Wed, 24 Jan 2024 07:21:02 +0000

#23 ¿quieres trastear con LLMs en windows? En zerio?

» autor: mandelbr0t

#28 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

Find — Wed, 24 Jan 2024 07:18:18 +0000

#19 ...hasta que tenga una GPU decente

» autor: Find

#27 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

KoLoRo — Wed, 24 Jan 2024 07:08:28 +0000

#8 Copio y pego de algún foro, no le pidas más

» autor: KoLoRo

#26 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

Robus — Wed, 24 Jan 2024 07:03:02 +0000

#20 Si no tienes una Nvidia olvidate del CUDA, y sin CUDA, a efectos prácticos, olvidate del ML en ordenadores personales.

» autor: Robus

#25 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

--710767-- — Wed, 24 Jan 2024 06:31:00 +0000

[Usuario deshabilitado]

» autor: --710767--

#24 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

levante — Wed, 24 Jan 2024 06:15:54 +0000

#20 Pues hoy por hoy o es Nvidia o como si no tuvieras gráfica.

» autor: levante

#23 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

Toranks — Wed, 24 Jan 2024 03:24:32 +0000

¿Alguien sabe qué puede estar pasando en mi Windows 11 que no me deja instalar el LM Studio? Me dice installation has failed todo el tiempo, incluso como administrador.

» autor: Toranks

#22 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

Socavador — Wed, 24 Jan 2024 02:58:58 +0000

¡ Eso, mátalo, mátalo !

» autor: Socavador

#21 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

sting — Wed, 24 Jan 2024 01:18:44 +0000

#1 Exactamente. Hay que tener un tarjeta bien potente para correr eso medianamente bien. Si se recurre a modelos más pequeños, tienes una mierda pichanda en un palo. El tipo lo ejecuta en una doble tarjeta con casi 100GB de VRAM, que cuesta como 10.000 euros. Vaya engaño de vídeo! (al menos para el 99% de nosotros que no tenemos semejantes dineral para ese hardware)

» autor: sting

#20 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

Razorworks — Wed, 24 Jan 2024 00:22:47 +0000

Yo lo único que os digo es que vayáis apañando RAM para poder cargar buenos modelos, y respecto a gráficas, las AMD os dan mas memoria por menos dinero que las Nvidia y, a fin de cuentas, eso es lo único que importa.

» autor: Razorworks

#19 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

--772776-- — Tue, 23 Jan 2024 23:49:58 +0000

#5 gerontofilo

» autor: --772776--

#18 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

mcfgdbbn3 — Tue, 23 Jan 2024 23:46:48 +0000

#4: 8 Gb, imagino que nada más arrancar el ordenador. ¿no?

» autor: mcfgdbbn3

#17 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

deepdoop — Tue, 23 Jan 2024 23:31:44 +0000

#11 Que coño! que le den a los casinos y al ChatGpt!

» autor: deepdoop

#16 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

Dectacubitus — Tue, 23 Jan 2024 23:21:43 +0000

Funciona con GPUs Radeon ?

» autor: Dectacubitus

#15 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

--437067-- — Tue, 23 Jan 2024 23:09:35 +0000

#11 Compro!

» autor: --437067--

#14 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

ACEC — Tue, 23 Jan 2024 22:59:49 +0000

#12 +1 para ollama + ollama-webui. Modelos que en oobabooga no conseguía que funcionaran correctamente, aquí han ido como la seda.

» autor: ACEC

#13 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

sorrillo — Tue, 23 Jan 2024 22:46:51 +0000

#5 Aunque por lo que parece sólo sirve para dar texto genérico

A ver si va a ser por que son modelos de texto ...

Para generación de imágenes en local hace tiempo que existe Stable Diffusion, para generar imágenes con una GPU de 4Gb o así basta, pero si lo que quieres es entrenarlo con fotografías o imágenes propias seguramente necesites una GPU de 12Gb de VRAM o quizá con algo menos también sea posible.

» autor: sorrillo

#12 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

LoboAsustado — Tue, 23 Jan 2024 22:29:22 +0000

#4 Buen resumen. Añado una que me ha gustado mucho por poder hacer RAG limitado y funciona con mi ancestral RTX 1050 de 2Gb
github.com/ollama-webui/ollama-webui
montas el docker y a vivir. Lo de arrastrar y soltar documentos, o imágenes e interrogar sobre su contenido todavía me sigue alucinando

» autor: LoboAsustado

#11 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

ronko — Tue, 23 Jan 2024 22:18:55 +0000

Pues ahora me voy q montar mi propio chatgpt, con casinos y furcias.

» autor: ronko

#10 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

--42429-- — Tue, 23 Jan 2024 20:54:03 +0000

#8 Parece que conoce bien a su tía Berta.

» autor: --42429--

#9 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

visualito — Tue, 23 Jan 2024 19:30:21 +0000

#4

Como complemento recomiendo "The Oobabooga TextGen WebUI " para correr los LLMs

Acá hay un buen video al respecto

www.youtube.com/watch?v=lb_lC4XFedU&t=656s

recomiendo mucho ese canal para todo lo que tiene que ver con IA sobre todo en local

www.youtube.com/@Aitrepreneur/videos

» autor: visualito

#8 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

visualito — Tue, 23 Jan 2024 19:11:44 +0000

#5

¿tienes alguna idea de lo que estás hablando?

» autor: visualito

#7 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

founds — Tue, 23 Jan 2024 15:15:34 +0000

#1 yo tengo una 1070 TI, y tira bastante bien

» autor: founds

#6 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

woody_alien — Tue, 23 Jan 2024 15:01:21 +0000

#5 Tú no sabes cómo está la tía Berta.

» autor: woody_alien

#5 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

Aeren — Tue, 23 Jan 2024 14:40:07 +0000

#1 Si ves el vídeo completo explica que la GPU se puede usar para quitarle carga a la CPU en mayor o menor medida, aunque lo más recomendable es cargarlo todo en la GPU para que no vaya arrastrando como un zombi sin piernas.

Aunque por lo que parece sólo sirve para dar texto genérico, igual que los chatbots de principio de los 2000 pero con mejor retórica y chupando 96Gb de Vram. Así que aguantad los caballos que esto aun no sirve para que algunos metan fotos de su tía Berta para rejuvenecerla 20 años y zurrarse la sardina generando fotos guarras de ella.

» autor: Aeren

#4 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

--42429-- — Tue, 23 Jan 2024 14:37:22 +0000

Pego y amplío lo que escribí hace un tiempo

Si alguien quiere probar alternativas libres a ChatGPT aquí van un par de recomendaciones para novatos, que usan modelos de código libre.

En local está GPT4all. Si no tienes una gráfica decente se ejecutará mediante CPU y la RAM normal: gpt4all.io/
Si tienes 8gbs de RAM o VRAM puedes ejecutar los modelos 7b, si tienes 16 GB, entonces puedes pasar a los de 14b

Se pueden descargar más modelos libres aquí, que es una persona que los convierte a formato GGUF: huggingface.co/TheBloke

Online hay varios Colabs. Google Colab es un servicio de alquiler de GPU mediante máquinas virtuales. Dan bastantes horas gratis de GPUs de 16 gigas de VRAM. Esto hace que se puedan probar modelos de 14b
Este es el más sencillo de usar que he encontrado (de momento): github.com/LostRuins/koboldcpp
Se puede ejecutar directamente aquí: colab.research.google.com/github/LostRuins/koboldcpp/blob/concedo/cola

Tiene medidas para que Google no pueda leer las conversaciones, pero obviamente al ser su hardware podría hacerlo.

Es dar el segundo botón de play y después de un rato te saldría un enlace de cloudflare.

Hay que tener en cuenta que ChatGPT es un modelo más avanzado y más grande que los de 14b. Se dice que los modelos libres óptimos son los de 70b.

Así que no esperéis el mismo rendimiento. También es posible que olvide cosas e instrucciones de la conversación porque a más contexto, más necesidad de potencia.

#1 Está la posibilidad que he puesto.

» autor: --42429--

#3 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

manbobi — Tue, 23 Jan 2024 14:29:08 +0000

El otro día quería hacer un curso pero están ocupados hasta marzo.

» autor: manbobi

#2 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

MSX_ — Tue, 23 Jan 2024 14:23:02 +0000

Sin sensura

» autor: MSX_

#1 ¡Ejecuta tu propio ChatGPT en local gratis y sin censura! (LM Studio + Mixtral)

pedrobotero — Tue, 23 Jan 2024 14:21:32 +0000

Por ahora poco viable para quien no tenga una gpu decente

» autor: pedrobotero