Comprar RAM para IA local
Qué cubre este artículo sobre la compra de RAM para IA
- Por qué la RAM es importante para IA local.
- Cuánta RAM necesitan diferentes modelos.
- DDR4 vs. DDR5 y velocidad de reloj.
- ECC y Dual-Channel.
- Recomendaciones prácticas.
Introducción: Comprar RAM para IA local
Junto con la GPU y CPU, la memoria RAM es uno de los componentes más críticos para ejecutar IA en local. Quien quiera usar modelos más grandes o contextos largos necesita mucha RAM. Una memoria insuficiente fuerza al modelo a descargar partes en discos lentos o en swap, lo que reduce drasticamente la velocidad. La selección correcta de RAM garantiza que los modelos funcionen rápido y estable.
Este artículo muestra cuánta RAM es necesaria y qué aspectos considerar al comprar.
Conceptos clave
- RAM: Memoria de acceso aleatorio.
- DDR4/DDR5: Estándares de memoria.
- Reloj: Velocidad en MHz.
- Timings: Valores de latencia.
- ECC: Memoria con corrección de errores.
- Canales: Bancos de memoria usables en paralelo.
- Dual-Channel: Dos canales en paralelo.
- Quad-Channel: Cuatro canales en paralelo.
- UDIMM, RDIMM: Módulos de memoria para desktop y servidor.
- Unbuffered: Sin búfer, baja latencia.
Cuánta RAM necesito
| Tamaño del modelo | Cuantización | Requisito de RAM |
|---|---|---|
| 3B | Q4 | 4-6 GB |
| 7B | Q4 | 8-12 GB |
| 13B | Q4 | 14-20 GB |
| 30B | Q4 | 30-40 GB |
| 70B | Q4 | 80-100 GB |
Estos valores aplican cuando se ejecuta en CPU. Con aceleración GPU, el modelo debe caber en VRAM, y la memoria restante se necesita para el SO, contexto y otras aplicaciones.
DDR4 vs. DDR5
| Aspecto | DDR4 | DDR5 |
|---|---|---|
| Reloj | hasta 3200 MHz | desde 4800 MHz |
| Ancho de banda | más bajo | más alto |
| Latencia | a menudo más baja | algo más alta |
| Precio | más económico | más caro |
| Disponibilidad | amplia | plataformas actuales |
DDR5 ofrece más ancho de banda, importante para cargas de trabajo de IA basadas en CPU. DDR4 es suficiente para muchas configuraciones iniciales.
Reloj y Timings
- Un reloj más alto proporciona más ancho de banda.
- Timings más bajos proporcionan menos latencia.
- Para IA, el reloj suele ser más importante que latencias extremadamente bajas.
- DDR4 a 3200 MHz o DDR5 a 5600 MHz son buenos puntos de partida.
Canales
- Dual-Channel es estándar e importante.
- Quad-Channel en CPUs de workstation mejora aún más el ancho de banda.
- Siempre instala módulos en parejas coincidentes.
ECC
ECC corrige errores de memoria y tiene sentido en plataformas de workstation y servidor. Para inferencia pura de IA en homelab no es obligatorio, pero se recomienda para entrenamientos largos o funcionamiento 24/7.
UDIMM, RDIMM, LRDIMM
- UDIMM: Módulos estándar de desktop.
- RDIMM: Módulos registrados para servidor.
- LRDIMM: Carga reducida, capacidades aún mayores.
Las CPUs consumer usan UDIMM, mientras que CPUs de workstation y servidor usan RDIMM/LRDIMM.
Requisitos de RAM para Ollama
- Modelo 7B con Q4: 8-16 GB de RAM del sistema.
- Modelo 13B: 16-32 GB.
- Modelo 70B: 64-128 GB y más.
- Contexto más grande y múltiples modelos simultáneos aumentan los requisitos.
Consejos
- Mejor tener más RAM que insuficiente.
- Utiliza siempre Dual-Channel.
- DDR5 si tienes una plataforma nueva.
- ECC en plataformas de workstation.
- No llenes la memoria con muchos módulos pequeños.
- Con múltiples GPUs, planifica más RAM para el SO y buffers.
- Verifica que la velocidad de RAM esté configurada correctamente en la BIOS.
Errores comunes
- Un solo módulo de RAM: Single-Channel ralentiza el sistema.
- RAM insuficiente: El modelo se descarga en disco.
- Tipo incorrecto: UDIMM no cabe en slot RDIMM.
- Velocidad incompatible: El sistema no inicia o se reduce el rendimiento.
- 2x16 en lugar de 4x8: Mejor para ampliaciones futuras.
- No activar XMP/EXPO: La RAM funciona más lento de lo posible.
Enlaces e información adicional
- BotServ.de CPU para IA
- BotServ.de GPU para IA local
- BotServ.de Armar un PC para IA
- BotServ.de Workstation para IA
FAQ: RAM para IA
¿Necesito DDR5 para IA? No es obligatorio, pero proporciona más ancho de banda.
¿Es importante ECC? Para workstations y ejecuciones largas sí, para homelabs de gaming no tanto.
¿Cuánta RAM para modelos 7B? Mínimo 16 GB si usas GPU, de otro modo 32 GB.
¿Son suficientes 32 GB para Ollama? Sí para modelos 7B y muchos 13B. Los 70B necesitan mucho más.
¿Ayuda una RAM más rápida? Sí, especialmente en inferencia basada en CPU.
Fuentes y lecturas adicionales
- DDR5: https://www.jedec.org/standards-documents/focus/memory/ddr5
- Crucial RAM Guide: https://www.crucial.com/articles/about-memory/speeds-and-feeds
Resumen: Comprar RAM para IA local
La RAM es decisiva para cargas de trabajo de IA rápidas y estables. Los modelos 7B funcionan con 16-32 GB, mientras que configuraciones más grandes o basadas en CPU necesitan mucho más. DDR5 y velocidades de reloj altas ayudan en workloads de CPU, y ECC proporciona estabilidad en plataformas de workstation. Quien use Dual-Channel o Quad-Channel, dimensione adecuadamente y cuide la compatibilidad, evitará cuellos de botella de memoria y sacará el máximo provecho del hardware.