edición general
5 meneos
67 clics
Como funciona la compactación en Pi [EN]

Como funciona la compactación en Pi [EN]

Los grandes modelos de lenguaje (LLM) tienen ventanas de contexto limitadas. La ventana de contexto es lo que el modelo puede "ver" mientras produce una respuesta. La arquitectura transformer utilizada por los LLM limita la cantidad de entrada que pueden procesar. La entrada para una sesión de un agente de programación incluye todos los mensajes y llamadas a herramientas anteriores, y esto sigue creciendo a medida que trabajas. Una vez que excede la ventana de contexto, el LLM rechaza la solicitud.

| etiquetas: agentes , ia , compactacion , ventana de contexto

menéame