Hardware para ejecutar Llama 3.2 3B
Modelo pequeño para chat sencillo, resúmenes y domótica en placas de bajo consumo.
- Desarrollador
- Meta
- Parámetros
- 3,2B
- Contexto máximo
- 128K tokens
- Licencia
- Llama 3.2 Community License
Ficha en Hugging FaceArchivos GGUFOllama: ollama run llama3.2:3b
Memoria necesaria
DatosPesos más caché de contexto más unos 1,5 GB del programa, según la cuantización y la longitud del contexto.
| Cuantización | 8K tokens | 32K tokens | 128K tokens |
|---|---|---|---|
| Q4_K_M | 4,5 GB | 7,3 GB | 19 GB |
| Q8_0 | 5,9 GB | 8,7 GB | 20 GB |
| FP16 | 8,9 GB | 12 GB | 23 GB |
Hardware que lo ejecuta
Estimación31 plataformas pueden ejecutar Llama 3.2 3B a Q4_K_M con un contexto de 32K tokens. Necesita unos 7,3 GB.
El más barato que lo ejecuta
El más rápido que lo ejecuta
Pesos del modeloCaché de contexto (KV)ProgramaLímite utilizable (color = veredicto)
FuncionaFunciona con holgura (31)
| Plataforma | Configuración mínima | Memoria | Techo de velocidad | Precio desde |
|---|---|---|---|---|
| RTX PRO 6000 | 96 GB | ≤ 887 tok/s | 8565 US$ | |
| RTX 5090 | 32 GB | ≤ 887 tok/s | 4329 US$ | |
| RTX PRO 5000 | 48 GB | ≤ 665 tok/s | 4500 US$ | |
| Mac Studio M5 Ultra | 96 GB | ≤ 594 tok/s | 5499 US$ | |
| RTX 4090 | 24 GB | ≤ 499 tok/s | 1599 US$ | |
| RX 7900 XTX | 24 GB | ≤ 475 tok/s | 1269 € | |
| RTX 5080 | 16 GB | ≤ 475 tok/s | 1830 US$ | |
| RTX 3090 | 24 GB | ≤ 463 tok/s | 1340 US$ | |
| RTX PRO 4500 | 32 GB | ≤ 444 tok/s | 2500 US$ | |
| RTX 5070 Ti | 16 GB | ≤ 444 tok/s | 1190 US$ | |
| RTX PRO 4000 | 24 GB | ≤ 333 tok/s | 1500 US$ | |
| RTX 5070 | 12 GB | ≤ 333 tok/s | 1010 US$ | |
| Radeon AI PRO R9700 | 32 GB | ≤ 319 tok/s | 1550 US$ | |
| RX 9070 XT | 16 GB | ≤ 319 tok/s | 759 US$ | |
| Arc Pro B70 | 32 GB | ≤ 301 tok/s | 1268 US$ | |
| Mac Studio M5 Max | 36 GB | ≤ 228 tok/s | 2499 US$ | |
| Arc Pro B60 | 24 GB | ≤ 226 tok/s | 599 US$ | |
| Arc B580 | 12 GB | ≤ 226 tok/s | 249 US$ | |
| RTX 5060 Ti 16 GB | 16 GB | ≤ 222 tok/s | 789 US$ | |
| RTX 3060 12 GB | 12 GB | ≤ 178 tok/s | 329 US$ | |
| RX 9060 XT 16 GB | 16 GB | ≤ 158 tok/s | 349 US$ | |
| Mac mini M5 Pro | 24 GB | ≤ 152 tok/s | 1699 US$ | |
| Ryzen AI Max+ PRO 495 | 192 GB | ≤ 135 tok/s | 7399 US$ | |
| Jetson AGX Thor | 128 GB | ≤ 135 tok/s | 5499 US$ | |
| DGX Spark / GB10 | 128 GB | ≤ 135 tok/s | 5000 US$ | |
| Ryzen AI Max+ 395 | 64 GB | ≤ 127 tok/s | 2200 US$ | |
| Arc Pro B50 | 16 GB | ≤ 111 tok/s | 349 US$ | |
| Jetson AGX Orin 64GB | 64 GB | ≤ 101 tok/s | 1999 US$ | |
| Mac mini M6 | 16 GB | ≤ 84 tok/s | 899 US$ | |
| Ryzen AI 9 HX 370 | 32 GB | ≤ 59 tok/s | — | |
| RK3588 (Orange Pi 5 Plus and others) | 16 GB | — | — |
No tiene memoria suficienteNo tiene memoria suficiente (1)
| Plataforma | Configuración mínima | Memoria | Techo de velocidad | Precio desde |
|---|---|---|---|---|
| Jetson Orin Nano Super | 8 GB | — | 399 US$ |
No compatibleNo compatible (1)
| Plataforma | Configuración mínima | Memoria | Techo de velocidad | Precio desde |
|---|---|---|---|---|
| Raspberry Pi AI HAT+ 2 | 8 GB | — | — | 200 US$ |
Máximo teórico al generar texto: ancho de banda de la memoria dividido entre los bytes que se leen por token. En la práctica se suele alcanzar entre la mitad y tres cuartas partes.