Comprar CPU para IA local

Qué cubre este artículo sobre CPU para IA local

• La importancia de la CPU en la IA local.
• Qué características de la CPU son relevantes para la inferencia de IA.
• Diferencia entre inferencia en CPU y GPU.
• Recomendaciones para distintos presupuestos.
• Errores comunes al comprar.

Introducción: Comprar CPU para IA local

La GPU suele ser el factor más importante para la velocidad en la IA local. Sin embargo, la CPU juega un papel crucial: carga los modelos, coordina el sistema e impulsa la inferencia cuando no hay suficiente VRAM disponible. Elegir la CPU correcta evita cuellos de botella y permite ejecutar modelos que ya no caben en la memoria de la GPU.

Este artículo explica qué considerar al comprar una CPU para Ollama y proyectos de IA local.

Términos importantes

• CPU: Unidad central de procesamiento.
• Núcleo: Unidad de cálculo independiente dentro de la CPU.
• Hilo: Núcleo virtual mediante Simultaneous Multithreading.
• Velocidad de reloj: Velocidad a la que funciona un núcleo.
• AVX: Advanced Vector Extensions, conjunto de instrucciones para cálculos de IA.
• AVX2/AVX-512: Instrucciones vectoriales más nuevas y amplias.
• Canales de RAM: Vías de datos simultáneas hacia la memoria.
• Inferencia en CPU: El modelo se ejecuta en la CPU en lugar de en la GPU.

Cuándo importa la CPU

• Cuando el modelo no cabe en la VRAM.
• Cuando el modelo se ejecuta completamente o en parte en la CPU.
• Cuando tareas como tokenización, preprocesamiento o RAG se ejecutan en la CPU.
• Cuando se operan múltiples servicios en paralelo.
• Cuando no hay GPU dedicada disponible.

En inferencias puramente basadas en GPU, la CPU es menos crítica, pero no debe convertirse en un cuello de botella.

Inferencia en CPU: Qué necesita

La inferencia en CPU se beneficia de:

• Muchos núcleos rápidos.
• Instrucciones vectoriales amplias como AVX2 y AVX-512.
• Ancho de banda de memoria alto mediante muchos canales de RAM.
• Caché grande.

Una velocidad de reloj elevada también es ventajosa, especialmente con modelos más pequeños.

AVX e IA

Ollama y llama.cpp utilizan AVX2 en CPUs modernas. AVX-512 puede proporcionar velocidad adicional con compilaciones optimizadas apropiadamente, pero no está disponible en todas las CPUs de consumidor. Las CPUs de servidor como Intel Xeon o AMD EPYC suelen soportar AVX-512 y ofrecen muchos núcleos y canales de RAM.

CPUs de consumidor comparadas

CPU	Núcleos/Hilos	AVX	Característica
AMD Ryzen 5/7/9	6 a 16 núcleos	AVX2	Buena relación precio-rendimiento
Intel Core i5/i7/i9	6 a 24 núcleos	AVX2, parcialmente AVX-512	Velocidades de reloj altas
AMD Threadripper	hasta 64 núcleos	AVX2	Muchos canales de RAM
Intel Xeon	más de 60 núcleos	AVX-512	ECC, muchas líneas PCIe
AMD EPYC	hasta 96 núcleos	AVX2	Servidor, muchos núcleos

Recomendaciones por presupuesto

Principiante

• AMD Ryzen 5 o Intel Core i5.
• 6 a 8 núcleos.
• AVX2.
• Adecuado para modelos pequeños de 7B en CPU.

Rango medio

• AMD Ryzen 7/9 o Intel Core i7/i9.
• 8 a 16 núcleos.
• Velocidad de reloj alta.
• Dual-channel de RAM es suficiente, quad-channel es mejor.

High-end / Estación de trabajo

• AMD Threadripper o Intel Xeon W.
• Muchos núcleos y muchos canales de RAM.
• Soporte ECC.
• Ideal para modelos grandes en CPU y configuraciones multi-GPU.

CPU vs. GPU

• GPU: Muy rápida en cálculos masivamente paralelos, requisito previo para inferencia fluida de IA.
• CPU: Más flexible, pero significativamente más lenta con el mismo tamaño de modelo.
• Unified Memory: Apple Silicon combina memoria de CPU y GPU, lo que ayuda a modelos pequeños.

Quien quiera usar modelos más grandes de forma fluida casi siempre necesita una GPU potente. La CPU aun así no debe descuidarse.

Núcleos, hilos y frecuencia

• Más núcleos ayudan en tareas paralelas e inferencia en CPU.
• Mayor velocidad de reloj mejora el rendimiento de un solo hilo.
• Hyperthreading aporta una mejora moderada en IA.
• El equilibrio entre número de núcleos y frecuencia es más importante que enfocarse solo en uno.

RAM y CPU

Las CPUs se benefician de mucha RAM y canales de RAM amplios. Dual-channel es el mínimo, quad-channel u octa-channel en CPUs de estación de trabajo es ideal. El ancho de banda de memoria es un factor importante en inferencia en CPU, ya que el modelo y la caché KV se leen desde RAM.

Caché

Una caché L3 grande puede ayudar en inferencia en CPU, ya que los datos utilizados frecuentemente están disponibles más rápidamente. Las CPUs con caché grande, como algunos modelos AMD X3D, pueden ofrecer ventajas en ciertos tipos de carga de trabajo.

Consejos al comprar

• Evite CPUs sin AVX2 si planea inferencia de IA.
• Asegúrese de tener suficientes líneas PCIe para la GPU planeada.
• Las CPUs de servidor ofrecen más ranuras de RAM y líneas PCIe.
• Las CPUs de estación de trabajo valen la pena si planea mucha RAM o múltiples GPUs.
• Para inferencia puramente en GPU, un procesador moderno de rango medio suele ser suficiente.

Errores comunes al comprar

• Muy pocos núcleos: El sistema en general se vuelve lento.
• Sin AVX2: llama.cpp y Ollama funcionan más lentamente u no de forma óptima.
• Soporte de RAM insuficiente: Expansión posterior imposible.
• Socket incorrecto: La placa base y CPU no encajan.
• ECC olvidado: Importante para servidores 24/7.
• Limitación de GPU: Muy pocas líneas PCIe para múltiples GPUs.

Enlaces e información adicional

• BotServ.de Comprar GPU para IA local
• BotServ.de Comprar RAM para IA local
• BotServ.de Comprar placa base para IA local
• BotServ.de Rendimiento de Ollama

FAQ: CPU para IA local

¿Necesito un procesador caro? No, para inferencia puramente en GPU es suficiente un procesador sólido de rango medio. La inferencia en CPU requiere mucha potencia.

¿Es importante AVX-512? AVX2 es estándar. AVX-512 puede ayudar, pero a menudo solo está disponible en CPUs de servidor.

¿Debería comprar Intel o AMD? Ambas funcionan. AMD ofrece a menudo más núcleos, Intel velocidades de reloj altas. La decisión de estación de trabajo depende del paquete completo.

¿Qué CPU para Ollama? Al menos un procesador moderno de 6 núcleos con AVX2. Para inferencia en CPU, preferiblemente 8 a 16 núcleos.

¿Vale la pena un procesador de servidor? Sí, si necesita muchas ranuras de RAM, ECC o múltiples GPUs.

Fuentes y lecturas adicionales

• AMD Ryzen: https://www.amd.com/en/processors/ryzen
• Intel Core: https://www.intel.com/content/www/us/en/products/details/processors.html
• llama.cpp Inferencia en CPU: https://github.com/ggerganov/llama.cpp

Resumen: Comprar CPU para IA local

La CPU es importante en configuraciones de IA local junto con la GPU. Para inferencia puramente en GPU es suficiente un procesador mid-range sólido con AVX2. Quién realiza inferencia en CPU, usa modelos grandes o ejecuta muchos servicios paralelos se beneficia de muchos núcleos, canales de RAM amplios y caché grande. Las CPUs de estación de trabajo y servidor ofrecen ECC, muchas líneas PCIe y ancho de banda de memoria elevado. Quien coordina CPU y GPU obtiene un sistema de IA equilibrado sin cuellos de botella innecesarios.