Hardware para IA

Qué cubre este artículo

• Por qué es importante contar con hardware adecuado para IA local.
• Qué contenidos sobre hardware para IA están disponibles en BotServ.
• Referencias a fundamentos, guías de compra y áreas relacionadas.

Introducción

La IA local requiere hardware que se ajuste a los requisitos específicos. La RAM, VRAM, procesador y almacenamiento determinan qué modelos pueden ejecutarse y con qué fluidez funcionarán. Esta sección proporciona conocimientos fundamentales y recomendaciones de compra prácticas para principiantes y usuarios avanzados.

¿Por qué necesito hardware de IA adecuado?

Un modelo de lenguaje es un archivo grande que se carga en memoria y se procesa ahí. Sin suficiente RAM o VRAM, los modelos más pequeños o menos cuantizados simplemente no caben. Con el hardware correcto, Ollama, LM Studio o un agente de IA funcionan sin problemas y no pierdes tiempo esperando cálculos.

Veamos un ejemplo: si quieres ejecutar Llama 3.1 8B, necesitas aproximadamente 8 GB de memoria para el modelo cuantizado. En una GPU con 8 GB de VRAM funciona sin problemas. En una computadora con solo 16 GB de RAM e inferencia por CPU, cada respuesta tarda varios segundos. Si lo sabes de antemano, ahorras dinero y frustraciones.

Hardware para IA explicado brevemente

La IA local utiliza dos formas de inferencia: basada en CPU con el modelo en RAM, o basada en GPU con el modelo en VRAM. La variante con GPU es mucho más rápida, pero requiere una tarjeta gráfica con suficiente memoria. Una APU como Apple Silicon o Ryzen AI Max combina CPU y GPU en un solo chip y comparten la memoria.

¿Para quién es esta sección?

• Quieres ejecutar IA localmente y saber qué puede hacer tu equipo.
• Estás considerando comprar una PC nueva, mini PC o tarjeta gráfica.
• Eres principiante y quieres entender mejor las promesas publicitarias.
• No necesitas conocimientos previos profundos. Los términos técnicos se explican en línea en los artículos.

Contenido y artículos

• Fundamentos - CPU, GPU, RAM, VRAM, SSD, APU, TOPS y cómo interactúan.
• Guía de compra - Qué considerar al comprar, con tabla de componentes y terminología.
• PC para IA Principiantes - Guía de compra detallada con rangos de precios, variantes y modelos específicos.

Términos importantes

• TOPS/NTOPS - Tera Operations Per Second. La unidad de medida para potencia computacional de IA. Cuanto mayor sea el valor, más rápido puede un chip ejecutar modelos.
• APU - Accelerated Processing Unit: CPU y GPU en un solo chip, como en Apple Silicon o Ryzen AI Max.
• Unified/Shared Memory - La memoria RAM se comparte entre CPU y GPU. Importante para Apple Silicon y Ryzen AI Max.
• Cuantización - Reduce la precisión de un modelo para ejecutarlo con menos memoria.
• VRAM - Memoria de la tarjeta gráfica dedicada. Decisivo para inferencia en GPU.

Mini PCs y GPUs recomendados

Encontrarás mini PCs adecuados, dispositivos con Ryzen AI Max y GPUs para IA local en la tienda Amazon. Te recomiendo consultar regularmente porque los precios y disponibilidad cambian rápidamente.

Escollos típicos

• RAM no es VRAM - 32 GB de RAM no te ayudan mucho si la GPU tiene solo 4 GB de VRAM. Para inferencia en GPU, cuenta la memoria gráfica.
• TOPS no lo dicen todo - Un valor TOPS alto no significa automáticamente que tu modelo funcione rápido. El ancho de banda de memoria y la arquitectura son igual de importantes.
• Los mini PCs no son actualizables - Si después quieres más memoria, generalmente tienes que comprar un dispositivo nuevo. Elige suficiente RAM desde el principio.

Enlaces relacionados

• Fundamentos de IA local
• Requisitos de RAM y VRAM
• Software de IA local
• Agentes de IA

FAQ - Preguntas frecuentes

¿Cuál es la diferencia entre RAM y VRAM?

RAM es la memoria principal de la computadora, VRAM es la memoria de la tarjeta gráfica. En inferencia por CPU el modelo está en RAM, en inferencia por GPU está en VRAM. Más información en los Fundamentos de Hardware para IA.

¿Necesito una tarjeta gráfica para IA local?

No es obligatorio. Los modelos pequeños como Llama 3.1 8B también funcionan en CPU. Para respuestas más rápidas y modelos más grandes se recomienda una GPU con suficiente VRAM.

¿Qué significa TOPS?

TOPS significa Tera Operations Per Second. Mide cuántas operaciones computacionales puede realizar un chip para tareas de IA por segundo. Valores más altos significan potencialmente inferencia de IA más rápida, pero el ancho de banda de memoria y la arquitectura son igual de importantes.

¿Cuánta RAM necesito para IA local?

Para modelos de 7B al menos 16 GB de RAM, preferiblemente 32 GB. Los modelos más grandes como 70B requieren 64 GB o más.

¿Cuánta VRAM necesito para IA local?

Para modelos cuantizados de 7B al menos 8 GB de VRAM. Para modelos de 13B 12 GB o más. Los modelos de 70B requieren 24 GB o más.

¿Qué es una APU?

Una APU combina CPU y GPU en un solo chip. Ejemplos incluyen Apple Silicon y AMD Ryzen AI Max. La ventaja es que ambos procesadores pueden acceder a la misma memoria.

¿Vale la pena un mini PC para IA local?

Sí, si buscas hardware compacto y eficiente en energía. Los mini PCs con Ryzen AI Max o Apple Silicon ofrecen mucha memoria en poco espacio. Asegúrate de elegir suficiente RAM desde el inicio.

¿Dónde encuentro consejos de compra?

En la Guía de compra encontrarás recomendaciones para sistemas de iniciación. El artículo PC para IA Principiantes ofrece modelos específicos y rangos de precios.

¿Por qué es importante una SSD?

Un modelo de lenguaje puede ocupar varios gigabytes. Una SSD NVMe carga el modelo mucho más rápido que un HDD. Esto reduce el tiempo de inicio y garantiza un funcionamiento más fluido.

¿Qué es Unified Memory?

Con Unified Memory, CPU y GPU comparten la misma memoria principal. Esto significa que una Mac con 32 GB de RAM también puede usar esos 32 GB para la GPU. En una tarjeta gráfica tradicional, el VRAM es separado y limitado.