Comprar RAM para IA local

Qué cubre este artículo sobre RAM para IA local

• Por qué la RAM es crucial en IA local.
• Cuánta RAM necesitas según el tamaño del modelo.
• Diferencias entre DDR4, DDR5 y ECC.
• Por qué Dual-Channel mejora el rendimiento.
• Consejos de compra y errores comunes.

Introducción: Comprar RAM para IA local

La RAM es, junto con VRAM, el recurso más importante para ejecutar modelos de IA local. Cuando un modelo no cabe en la memoria de la GPU, se descarga parcial o completamente en la memoria RAM. Cuanta más RAM tengas y más rápida sea, más fluida será la inferencia. Elegir la configuración de RAM correcta para Ollama, llama.cpp o sistemas con agentes evita cuellos de botella y tiempos de carga molestos.

Este artículo te ayuda a seleccionar la cantidad y tecnología de RAM adecuada para tus proyectos de IA local.

Términos clave

• RAM: Memoria de acceso aleatorio del sistema.
• VRAM: Memoria de la tarjeta gráfica.
• DDR4: Estándar de RAM común y accesible.
• DDR5: Estándar más reciente con mayor ancho de banda.
• ECC: Código de corrección de errores que corrige errores de bits.
• Dual-Channel: Dos módulos de RAM en paralelo para mayor ancho de banda.
• Ancho de banda de memoria: Velocidad a la que los datos fluyen a través de la RAM.
• Unified Memory: RAM y VRAM compartidas, como en Apple Silicon.

Por qué es importante la RAM

Los modelos de IA local contienen miles de millones de parámetros. Estos deben mantenerse en memoria para que el modelo pueda generar respuestas. En inferencia por CPU o cuando el modelo es más grande que la memoria de GPU, el modelo reside completamente en RAM. Durante el procesamiento también se mantiene un caché KV en memoria que crece con la longitud del contexto.

Regla práctica para tamaños de modelo

Con cuantización de 4 bits, usa esta estimación aproximada:

Tamaño del modelo	RAM requerida
7B / 8B	6 a 8 GB
13B / 14B	10 a 12 GB
30B	20 a 24 GB
70B	40 a 48 GB

Estos números corresponden solo al modelo. El sistema operativo, Ollama, bases de datos y otros servicios necesitan RAM adicional. Por eso es prudente dejar un margen de seguridad.

Valores mínimos recomendados

• Comenzar con modelos de 7B: 16 GB de RAM.
• Trabajo cómodo con 13B/14B: 32 GB de RAM.
• Modelos de 30B: 64 GB de RAM.
• Modelos de 70B: 96 a 128 GB de RAM.

Más RAM casi siempre es mejor, ya que te permite ejecutar modelos más grandes, contextos más largos o varios servicios simultáneamente.

DDR4 vs. DDR5

DDR4

• Más económico y ampliamente disponible.
• Ideal para sistemas existentes y presupuestos limitados.
• Suficiente para muchas configuraciones de IA local.

DDR5

• Mayor ancho de banda.
• Mejor rendimiento en inferencia por CPU.
• Más costoso, especialmente con capacidades mayores.
• Vale la pena si la inferencia por CPU es tu enfoque principal.

En inferencia pura por GPU la diferencia entre DDR4 y DDR5 es menor, ya que el modelo reside en VRAM. En inferencia por CPU el ancho de banda de memoria juega un papel más importante.

RAM ECC

• Corrección de errores para cálculos prolongados.
• Importante para servidores y homelabs que funcionan muchas horas sin interrumpción.
• Disponible en muchas plataformas de servidor y CPUs de workstation.
• No es obligatorio para máquinas de prueba consumer.

Si ejecutas un servidor 24/7, te beneficiarás de ECC. Las PCs de escritorio con CPUs consumer normales de AMD o Intel a menudo no soportan ECC.

Dual-Channel

Dos módulos de RAM emparejados en modo Dual-Channel proporcionan significativamente más ancho de banda que un solo módulo. En inferencia por CPU es claramente perceptible. Si amplías RAM, siempre compra pares e instálalos en los slots correspondientes.

Apple Silicon y Unified Memory

En Macs con Apple Silicon, CPU y GPU comparten la misma memoria. 16 GB son aceptables para modelos pequeños de 7B, mientras que 32 a 64 GB de Unified Memory permiten modelos más grandes. El ancho de banda es muy alto, por lo que Apple Silicon es adecuado para IA incluso sin GPU dedicada.

Ancho de banda de memoria

El ancho de banda afecta a la inferencia por CPU. DDR4-3200 proporciona aproximadamente 51 GB/s por canal, DDR5-4800 alrededor de 76 GB/s por canal. Dual-Channel duplica estos valores. Los modelos con muchos parámetros se benefician considerablemente de mayor ancho de banda.

Recomendaciones de compra

Build de presupuesto para modelos de 7B

• 32 GB DDR4-3200, Dual-Channel.
• Suficiente para Ollama con modelos de 8B.

Gama media para modelos de 14B

• 64 GB DDR4 o DDR5.
• Suficiente para modelos más grandes y servicios RAG.

Workstation para modelos de 30B a 70B

• 128 GB DDR4/DDR5, opcionalmente ECC.
• Para inferencia por CPU o como respaldo cuando VRAM no es suficiente.

Errores comunes de compra

• RAM insuficiente: El modelo se descarga o se bloquea.
• Módulo único: Se pierden beneficios de Dual-Channel.
• Timings de RAM lentos: El ancho de banda disminuye.
• ECC incompatible: La placa base o CPU no soporta ECC.
• Configuración mixta: Módulos diferentes pueden causar problemas.
• Subestimar Apple Silicon: Unified Memory funciona diferente a RAM + VRAM clásicos.

Enlaces y recursos adicionales

• BotServ.de Comprar GPU para IA local
• BotServ.de Rendimiento de Ollama
• BotServ.de Dimensionar hardware correctamente
• BotServ.de Requisitos de RAM y VRAM

FAQ: RAM para IA local

¿Necesito más RAM que VRAM? Sí, si el modelo es más grande que la memoria de GPU, reside en RAM. Además, el sistema operativo y otros servicios requieren RAM.

¿Son suficientes 16 GB para Ollama? Para modelos pequeños de 7B sí, pero no para modelos más grandes o configuraciones RAG.

¿Es DDR5 significativamente mejor para IA? En inferencia por CPU sí, en inferencia pura por GPU es menos relevante.

¿Vale la pena ECC para un homelab? Sí, si el servidor funciona continuamente y la estabilidad es importante.

¿Debería comprar 32 GB DDR4 o 16 GB DDR5? 32 GB DDR4 generalmente es mejor, ya que más RAM permite modelos más grandes.

Fuentes y lectura adicional

• Ollama GitHub: https://github.com/ollama/ollama
• Descripción de DDR5: https://www.crucial.de/articles/about-memory/memory-types

Resumen: Comprar RAM para IA local

La RAM es un factor central en IA local, especialmente en inferencia por CPU o con modelos grandes. Para modelos de 7B bastan 16 a 32 GB, para modelos más grandes son recomendables 64 GB o más. DDR5 ofrece mayor ancho de banda, DDR4 es más económico. Dual-Channel es importante, ECC ayuda en operación continua estable. Si eliges RAM según el tamaño del modelo y su propósito, obtendrás resultados significativamente más fluidos de Ollama y otras herramientas de IA local.