Saltar al contenido
Voltarum Local LLM Hardware Guide

IA edge

¿El Raspberry Pi AI HAT+ 2 puede ejecutar LLM?

Qué puede ejecutar y qué no el acelerador Hailo-10H, y cuándo compensa más una Jetson o una GPU pequeña.

Por Editorial team · Publicado · Actualizado

Algunos enlaces son de afiliado: si compras a través de ellos podemos recibir una comisión, sin coste para ti. Nunca cambia nuestras valoraciones. Afiliación

El Raspberry Pi AI HAT+ 2 (Hailo-10H) añade a una Raspberry Pi 5 un acelerador neuronal Hailo-10H con 8 GB de memoria propios. A diferencia del primer AI HAT+ (solo visión), puede ejecutar modelos generativos. La pregunta es cuáles.

Sí, pero solo los modelos de Hailo

El HAT no ejecuta llama.cpp ni cualquier archivo GGUF. Ejecuta los modelos que Hailo ha compilado para su chip, publicados en su «model zoo» de IA generativa. Al escribir esto son modelos pequeños, de 1–2B parámetros:

  • Qwen3 1.7B, Qwen2.5 1.5B, Qwen2.5-Coder 1.5B, Qwen2 1.5B
  • Llama 3.2 1B
  • DeepSeek-R1-Distill-Qwen 1.5B
  • De visión y lenguaje: Qwen2-VL 2B y Qwen3-VL 2B
  • Whisper para reconocimiento de voz

Hailo ofrece hailo-ollama, un servidor con una API compatible con Ollama, así que las herramientas que hablan con Ollama pueden usarlo.

Para qué sirve

  • Un asistente de voz sin conexión: Whisper más un Qwen pequeño.
  • Describir imágenes de una cámara con un modelo de visión de 2B junto a la IA de visión clásica.
  • Clasificar, extraer datos o llamar a herramientas sencillas en un proyecto de bajo consumo.

Lo que no es

No es un acelerador de LLM de uso general. No puedes cargar un modelo de 8B, tu propio ajuste fino ni un modelo recién publicado hasta que Hailo lo compile. Para un asistente de chat útil en casa, incluso una tarjeta gráfica de 12 GB como la NVIDIA GeForce RTX 3060 12 GB ejecuta modelos mucho mejores.

La alternativa edge

La NVIDIA Jetson Orin Nano Super Developer Kit cuesta más, pero ejecuta cualquier modelo pequeño con CUDA, llama.cpp y Ollama, modelos de 3–4B con contextos moderados en sus 8 GB (compartidos con el sistema). Si te importa más la flexibilidad que el ecosistema de Raspberry Pi, elige la Jetson.

Hardware de esta guía