Algunos enlaces son de afiliado: si compras a través de ellos podemos recibir una comisión, sin coste para ti. Nunca cambia nuestras valoraciones. Afiliación
La primera pregunta con cualquier modelo local no es la velocidad, sino si cabe. Si el modelo no cabe en la memoria que puede usar tu GPU, o no carga o se arrastra usando la RAM del sistema. La buena noticia: la cuenta es sencilla cuando conoces sus tres partes.
Las tres partes
1. Los pesos. El archivo del modelo. Su tamaño depende del número de parámetros y de la cuantización, los bits que se usan por peso:
| Cuantización | Bits por peso (aprox.) | Calidad |
|---|---|---|
| Q4_K_M | ~4,8 | Lo habitual: pierde poca calidad |
| Q8_0 | ~8,5 | Casi idéntica al original |
| FP16 | 16 | Precisión original |
Una regla rápida para 4 bits es 0,6 GB por cada mil millones de parámetros, pero los archivos reales varían, así que siempre usamos el tamaño real del GGUF. gpt-oss-120b es un buen ejemplo: sus expertos ya vienen a 4 bits, así que incluso su archivo «de 8 bits» ocupa unos 63 GB.
2. La caché de contexto (caché KV). Cada token de la conversación guarda claves y valores en cada capa de atención. Crece con la longitud del contexto y cambia muchísimo de un modelo a otro. Los modelos nuevos son mucho más austeros:
| Modelo (4 bits) | Contexto 8K | Contexto 32K | Contexto 128K |
|---|---|---|---|
| Qwen3.6 27B | 18,9 GB | 20,5 GB | 26,9 GB |
| Qwen3 32B | 23,4 GB | 29,8 GB | 32,0 GB (máx. 40K) |
| Llama 3.3 70B | 46,7 GB | 54,8 GB | 87,0 GB |
| Qwen3.6 35B A3B | 23,8 GB | 24,3 GB | 26,3 GB |
Fíjate en Qwen3 32B: con 32K tokens solo su caché ocupa 8,6 GB, así que ya no cabe en una tarjeta de 24 GB, mientras que el más nuevo Qwen3.6 27B cabe con margen. Qwen3.5 y 3.6 usan atención lineal en la mayoría de capas, y eso deja la caché en casi nada.
3. El margen del programa. Los búferes y el entorno de la GPU ocupan unos 1,5 GB más.
¿Cuánta memoria puede usar un modelo?
- Tarjetas gráficas: prácticamente toda (cierra otros programas que usen la GPU).
- Mac: por defecto macOS deja a la GPU unos dos tercios de la memoria en equipos de hasta 36 GB y tres cuartas partes por encima. Un Mac Studio de 128 GB da a un modelo unos 96 GB.
- Ryzen AI Max y otros PC de memoria unificada: con Linux, casi toda; contamos un 90 %.
Tamaños en la práctica
- 12–16 GB: los mejores modelos pequeños (Qwen3.5 9B, Gemma 4 12B, gpt-oss-20b) con contextos largos.
- 24–32 GB: el punto ideal para modelos de 27–35B como Qwen3.6 27B y Gemma 4 31B. Una NVIDIA GeForce RTX 3090 usada sigue siendo la forma más barata de llegar.
- 48–64 GB: modelos densos de 70B a 4 bits, normalmente con dos tarjetas.
- 96–128 GB: modelos de mezcla de expertos de 100B, como gpt-oss-120b y Qwen3.5 122B. Aquí brillan el AMD Ryzen AI Max+ 395 (Strix Halo) y el Mac Studio.
- 256 GB o más: los modelos abiertos más grandes, en la práctica solo en un Apple Mac Studio (M5 Ultra).
Pruébalo
Elige cualquier modelo en la página de modelos con tu cuantización y tu contexto: cada plataforma muestra si cabe, con una barra de memoria y un techo de velocidad.