Hardware para ejecutar Qwen3.5 397B A17B
El buque insignia de Qwen. A 4 bits pide un Mac Studio de 256 o 512 GB.
- Desarrollador
- Alibaba (Qwen)
- Parámetros
- 403B (activos 17B)
- Contexto máximo
- 256K tokens
- Licencia
- Apache 2.0
Memoria necesaria
DatosPesos más caché de contexto más unos 1,5 GB del programa, según la cuantización y la longitud del contexto.
| Cuantización | 8K tokens | 32K tokens | 128K tokens |
|---|---|---|---|
| Q4_K_M | 246 GB | 247 GB | 250 GB |
| Q8_0 | 423 GB | 424 GB | 427 GB |
| FP16 | 809 GB | 809 GB | 812 GB |
Hardware que lo ejecuta
Estimación1 plataformas pueden ejecutar Qwen3.5 397B A17B a Q4_K_M con un contexto de 32K tokens. Necesita unos 247 GB.
El más rápido que lo ejecuta
Pesos del modeloCaché de contexto (KV)ProgramaLímite utilizable (color = veredicto)
FuncionaFunciona con holgura (1)
| Plataforma | Configuración mínima | Memoria | Techo de velocidad | Precio desde |
|---|---|---|---|---|
| Mac Studio M5 Ultra | 512 GB | ≤ 117 tok/s | — |
En parte en la RAM del sistemaSolo con parte del modelo en la RAM del sistema (20)
| Plataforma | Configuración mínima | Memoria | Techo de velocidad | Precio desde |
|---|---|---|---|---|
| RTX PRO 6000 | 96 GB | — | 8565 US$ | |
| RTX PRO 5000 | 48 GB | — | 4500 US$ | |
| Radeon AI PRO R9700 | 32 GB | — | 1550 US$ | |
| Arc Pro B70 | 32 GB | — | 1268 US$ | |
| RTX 5090 | 32 GB | — | 4329 US$ | |
| RTX PRO 4500 | 32 GB | — | 2500 US$ | |
| RX 7900 XTX | 24 GB | — | 1269 € | |
| Arc Pro B60 | 24 GB | — | 599 US$ | |
| RTX 3090 | 24 GB | — | 1340 US$ | |
| RTX 4090 | 24 GB | — | 1599 US$ | |
| RTX PRO 4000 | 24 GB | — | 1500 US$ | |
| RX 9060 XT 16 GB | 16 GB | — | 349 US$ | |
| RX 9070 XT | 16 GB | — | 759 US$ | |
| Arc Pro B50 | 16 GB | — | 349 US$ | |
| RTX 5060 Ti 16 GB | 16 GB | — | 789 US$ | |
| RTX 5070 Ti | 16 GB | — | 1190 US$ | |
| RTX 5080 | 16 GB | — | 1830 US$ | |
| Arc B580 | 12 GB | — | 249 US$ | |
| RTX 3060 12 GB | 12 GB | — | 329 US$ | |
| RTX 5070 | 12 GB | — | 1010 US$ |
No tiene memoria suficienteNo tiene memoria suficiente (10)
| Plataforma | Configuración mínima | Memoria | Techo de velocidad | Precio desde |
|---|---|---|---|---|
| Ryzen AI Max+ PRO 495 | 192 GB | — | 7399 US$ | |
| Ryzen AI Max+ 395 | 128 GB | — | 2200 US$ | |
| Mac Studio M5 Max | 128 GB | — | 2499 US$ | |
| Jetson AGX Thor | 128 GB | — | 5499 US$ | |
| DGX Spark / GB10 | 128 GB | — | 5000 US$ | |
| Ryzen AI 9 HX 370 | 96 GB | — | — | |
| Mac mini M5 Pro | 64 GB | — | 1699 US$ | |
| Jetson AGX Orin 64GB | 64 GB | — | 1999 US$ | |
| Mac mini M6 | 32 GB | — | 899 US$ | |
| Jetson Orin Nano Super | 8 GB | — | 399 US$ |
No compatibleNo compatible (2)
| Plataforma | Configuración mínima | Memoria | Techo de velocidad | Precio desde |
|---|---|---|---|---|
| RK3588 (Orange Pi 5 Plus and others) | 32 GB | — | — | — |
| Raspberry Pi AI HAT+ 2 | 8 GB | — | — | 200 US$ |
Máximo teórico al generar texto: ancho de banda de la memoria dividido entre los bytes que se leen por token. En la práctica se suele alcanzar entre la mitad y tres cuartas partes.