Guías claras sobre cómo ejecutar modelos de lenguaje en casa: memoria, cuantización, elección de hardware e instalación.
Categorías
Pesos, caché de contexto y margen: cómo saber si un modelo cabe en tu GPU o tu Mac, con cifras reales de los modelos más populares.