Microsoft libera BitNet, un modelo de IA de 1.58bits que funciona en una CPU sin necesidad de GPU

BitNet almacena la información de los pesos en 3 valores (1.58bits) . -1, 0 y 1 en lugar de valores flotantes como hacen los sistemas de Inteligencia artificial al uso. Nada de matrices complejas. Simplemente operaciones con números enteros que es lo que precisamente hace rápido una CPU. Esto permite un modelo de 100Billones de parámetros correr en una CPU normal con velocidades de hasta 7 tokens por segundo y un consumo de hasta un 85% menos.

[#11 woke]

es similar a llama 3.2 1B

[#5 Onnix]

A falta de probarla. Modelos de este tipo pueden llevar a dos cosas: Que estemos mas cerca de poder utilizar modelos locales sin tener que comprar miles de euros en graficas. O que el precio de las CPUs se infle y ya no podamos acceder a la tecnología... Sea como sea, buena publicacion

[#10 CaféDescafeinado]

#5 estoy de acuerdo, y te respondo desde mi coca-cola light con hielo y limón: como mucho acabaría con el monopolio de Nvidia, y aceleraría el aprovechamiento de las CPUs bajando precio en infraestruturas multi núcleo, ya que conectar CPUs a este nivel (las que sea) es más fácil que GPUs ¿Porqué? tachaannn: la RAM (eso si, más lenta, no te hablo de GDDR6 a precio de saldo, para eso espera a que tus nietos crezcan y se casen... a lo mejor lo ves )

[#3 frankiegth]

Esta gente no "libera" nada sin haberlo "atado" previamente.

[#8 jonolulu]

Bits o trits?

[#6 capitan.meneito]

Esto sirve para el porno?

[#7 tpm1]

Según veo ya hace más de un año que la liberaron y no parece que haya triunfado mucho.

[#9 CaféDescafeinado]

uy, uy se rumorea en mi empresa que DeepSeek está apunto de sacar algo similar y esto huele a que se han apresurado a sacar un modelo en CPU y adelantarse, de momento no han podido ejecutarlo, la información además no es clara y la demo chirria, aún así las bases están puestas para romper la dependencia de CUDA y Nvidia, es cuestión de tiempo y Nvidia va a estrujar a la gallina mientras pueda... pero si yo tuviera acciones me iría pensando ver las noticias al segundo por si tengo que agarrar a mi broker de los huevos y ponerlo a vender como si fuera el fin de los tiempos. Luego lo de que sea un 100B lo pongo en duda, es como comparar manzanas con peras... no se si me explico

[#1 freaker]

Demo disponible en
demo-bitnet-h0h8hcfqeqhrf5gf.canadacentral-01.azurewebsites.net/ (posiblemente caida por las visitas)

[#2 aPedirAlMetro]

#1 No pinta demasiado bien  

[#4 Black_Diamond]

#2 Es lo que pasa por tener 100 millones de parámetros, pero cuando los parámetros son trits. Que se pone a contar y no pasa del 2.