Hardware de servidor usada para IA local

Qué cubre este artículo sobre hardware de servidor usada

• Cuándo tiene sentido usar hardware de servidor usada para IA local.
• Qué aspectos considerar al comprar.
• Qué componentes importan: CPU, RAM, PCIe, fuente de alimentación, refrigeración.
• Cómo influyen el ruido, el consumo de energía y el tamaño.
• Plataformas típicas de servidores y estaciones de trabajo usadas.

Introducción: Hardware de servidor usada para IA local

Las estaciones de trabajo nuevas con múltiples GPUs son costosas. El hardware de servidor usado procedente de centros de datos o retiros empresariales puede ser una alternativa económica. Especialmente para experimentos, sistemas RAG, modelos más pequeños u operar un homelab de IA local, muchas veces servidores más antiguos retirados del entorno profesional son suficientes.

Sin embargo, el hardware de servidor usado también presenta desventajas: ruido, alto consumo de energía, soporte de controladores limitado y frecuentemente peso considerable. Quien elige los componentes correctos obtiene mucho rendimiento por poco dinero. Quien compra mal, termina con un calefactor ruidoso.

Por qué hardware de servidor usado

• Precio: Mucha RAM, muchos núcleos y carriles PCIe por poco dinero.
• Extensibilidad: Múltiples ranuras de RAM, ranuras PCIe y bahías para unidades.
• Estabilidad: Construido para funcionamiento continuo.
• RAM ECC: Mejor estabilidad durante cálculos prolongados.
• IPMI: Administración remota sin necesidad de monitor.

Términos importantes

• ECC: Error-Correcting Code, protege la RAM de errores de bit.
• IPMI: Intelligent Platform Management Interface, control remoto del servidor.
• BMC: Baseboard Management Controller, hardware para IPMI.
• Carriles PCIe: Vías de conexión a la GPU, más es mejor.
• TDP: Thermal Design Power, potencia de disipación térmica máxima.
• Rackmount: Dispositivo de 19 pulgadas para armarios de servidor.
• Tower: Servidor de pie, frecuentemente más silencioso y más adecuado para homelabs.

Qué es importante al comprar

CPU

• Muchos núcleos ayudan con la carga de datos y operación paralela, no necesariamente con la inferencia GPU.
• Importante: Suficientes carriles PCIe, a menudo a través de dos CPUs.
• Xeon E5 v3/v4 o Xeon Scalable son candidatos económicos.
• AMD EPYC 7001/7002 ofrece muchos carriles PCIe.

RAM

• Mínimo 64 GB, mejor 128 GB o 256 GB para modelos más grandes.
• Se recomienda RAM ECC.
• DDR4 es actualmente el punto óptimo en precio y disponibilidad.

PCIe y GPU

• Al menos una ranura x16 para una GPU de consumidor.
• Con múltiples GPUs: placa con suficiente espacio, carriles y suministro de energía.
• La fuente de alimentación debe tener suficientes conectores de 6 u 8 pines para GPUs.
• GPU passthrough en Proxmox o ESXi requiere iommu/VT-d.

Fuente de alimentación

• Los servidores usados suelen tener fuentes de alimentación redundantes.
• Clasificaciones de eficiencia como 80 Plus Gold o Platinum reducen el consumo de energía.
• El TDP de CPU y GPU se suman rápidamente.

Unidades

• Controladores SAS o SATA, eventualmente RAID.
• SSDs para sistema y modelos, HDDs para datos.
• NVMe posible a través de adaptador PCIe.

Refrigeración y ruido

• Los servidores rack son frecuentemente ruidosos, especialmente los dispositivos 1U.
• Los servidores tower o estaciones de trabajo suelen ser más silenciosos.
• Los ventiladores pueden ser reemplazados, pero deben ser compatibles con el BMC.

Plataformas típicas

Dell PowerEdge

• R730, R740, T630, T640.
• Buena disponibilidad, muchas piezas de repuesto.
• Los modelos R son servidores rack, los modelos T son tower.

HPE ProLiant

• DL380, DL360, ML350.
• La serie ML como tower frecuentemente es más silenciosa.

Supermicro

• Sistemas barebone muy flexibles.
• Frecuentemente buen soporte para GPU.
• A menudo más ruidoso que Dell o HPE.

Lenovo ThinkSystem / ThinkStation

• Las estaciones de trabajo frecuentemente son más silenciosas y compactas.
• ThinkStation P520 o P720 para GPUs.

Fujitsu Primergy

• Calidad de construcción sólida, a veces más económico.
• La disponibilidad de piezas de repuesto varía.

Qué evitar

• CPUs muy antiguas sin AVX2, muchas herramientas modernas de IA necesitan AVX2.
• Solo RAM DDR3, demasiado lenta y limitada.
• Servidores rack 1U con GPUs de consumidor: frecuentemente problemas de espacio y refrigeración.
• Fabricantes desconocidos sin actualizaciones de BIOS.
• Dispositivos con ventiladores propietarios que son ruidosos y caros de reemplazar.

Considerar costos de energía

Los servidores usados pueden consumir varios cientos de vatios a carga completa. Un setup típico:

• Servidor con dos CPUs y RAM: 150 a 300 vatios en reposo.
• GPU: 150 a 400 vatios adicionales.
• A carga completa rápidamente 500 a 1000 vatios.

A 0,35 euros por kWh, 500 vatios de funcionamiento continuo cuestan aproximadamente 1500 euros por año. Eso puede ser más rápidamente más caro que el hardware en sí.

Selección de GPU para servidores usados

• Las GPUs de consumidor como RTX 3090, 4090 o 4070 Ti Super ofrecen mucha VRAM por el precio.
• Las GPUs profesionales como A100 o A40 requieren más energía y refrigeración.
• Las GPUs AMD son más económicas, pero el soporte ROCm varía.
• Las GPUs más antiguas como GTX 1080 Ti tienen soporte limitado de Tensor Core.

Casos de uso

• Host Proxmox: Múltiples VMs y LXC para herramientas de IA.
• Servidor Ollama: Múltiples modelos simultáneamente en RAM.
• Sistema RAG: Base de datos, embeddings y modelo de lenguaje en un host.
• Taller de IA: Entrenar modelos más pequeños o fine-tuning.
• Plataforma experimental: Probar diferentes GPUs y configuraciones.

Enlaces e información adicional

• BotServ.de PC de IA para Ollama
• BotServ.de Estación de trabajo de IA
• BotServ.de Comparativa de GPU
• BotServ.de Fundamentos de Proxmox

FAQ: Hardware de servidor usado

¿Vale la pena un servidor usado para IA? Sí, si tienes suficiente RAM, carriles PCIe y espacio y no te importan el consumo de energía ni el ruido.

¿Cuánto cuesta un servidor usado funcional? Frecuentemente 300 a 800 euros para el barebone con CPU y RAM, las GPUs vienen aparte.

¿Son demasiado ruidosos los servidores rack para el salón? Generalmente sí. Los servidores tower o estaciones de trabajo son más silenciosos.

¿Necesito RAM ECC? Para cálculos prolongados se recomienda, pero no es obligatorio.

¿Puedo operar múltiples GPUs? Solo si la placa, la fuente de alimentación y la refrigeración lo permiten.

Fuentes y literatura adicional

• ServeTheHome Forum: https://forums.servethehome.com/
• Proxmox VE: https://pve.proxmox.com/
• Ollama: https://ollama.com/

Resumen: Hardware de servidor usada para IA local

El hardware de servidor usado puede ser un punto de entrada económico para IA local. Lo decisivo es una CPU con muchos carriles PCIe, RAM suficiente, soporte GPU adecuado y una fuente de alimentación silenciosa y eficiente en energía. Los servidores rack son ruidosos, los servidores tower o estaciones de trabajo generalmente son más adecuados para homelabs. Quien considera los costos de energía, el ruido y las piezas de repuesto, obtiene mucho poder de cálculo por poco dinero con hardware usado.