Proxmox para IA: Virtualización

Qué cubre este artículo

• Cómo usar Proxmox VE para servicios de IA.
• Cuándo optar por VMs y cuándo por contenedores LXC.
• Cómo funciona el GPU-Passthrough.
• Cómo ejecutar Ollama en una VM o contenedor.
• Obstáculos comunes en Proxmox.

Introducción

Proxmox VE es una plataforma de virtualización de código abierto. Resulta excelente para montar un servidor de IA y separar cleanly diversos servicios. Puedes ejecutar Ollama en una VM, un servicio RAG en otra VM y un proxy inverso en un contenedor LXC. Esto mantiene el setup ordenado y más fácil de mantener.

Por qué Proxmox para IA

Si ejecutas un único servicio de IA, no necesitas virtualización. Pero cuando tienes múltiples tareas, Proxmox cobra sentido. Aíslas servicios, asignas recursos estratégicamente y creas snapshots antes de actualizaciones. Si un experimento falla, simplemente revierts los cambios. Para cargas de trabajo de IA, el GPU-Passthrough es crucial, permitiendo que una VM acceda directamente a la tarjeta gráfica.

Proxmox en pocas palabras

Proxmox VE combina KVM para máquinas virtuales y LXC para contenedores ligeros. Controlas todo desde una interfaz web. Administras almacenamiento, red y recursos de forma centralizada. Para IA, el PCI-Passthrough y la asignación de RAM son especialmente importantes, garantizando que las VMs tengan suficiente potencia para los modelos.

Para quién es este artículo

• Para usuarios que desean virtualizar un servidor casero o servidor dedicado.
• Para principiantes en Proxmox interesados en IA.
• Para quienes quieren aislar Ollama u otras herramientas de IA de otros servicios.

Términos clave

Término	Significado
Proxmox VE	Plataforma de virtualización con KVM y LXC
KVM	Kernel-based Virtual Machine, VMs completas
LXC	Contenedores Linux, contenedores ligeros sin kernel propio
VM	Máquina virtual con sistema operativo independiente
GPU-Passthrough	La tarjeta gráfica se asigna directamente a la VM
IOMMU	Característica de hardware para aislamiento de dispositivos PCI
PCI	Interfaz para tarjetas de expansión como GPUs
Ceph	Solución de almacenamiento para clústeres, opcional
ISO Image	Imagen de instalación para VMs
Template	Plantilla para crear rápidamente VMs o contenedores

Instalación de Proxmox

1. Descarga la ISO de Proxmox VE.
2. Crea un USB booteable.
3. Arranca el servidor e instala Proxmox.
4. Selecciona disco duro, contraseña y configuración de red.
5. Abre la interfaz web en https://IP:8006 después del reinicio.

Crear la primera VM para Ollama

1. Sube una ISO de Ubuntu o Debian.
2. Crea una nueva VM con al menos 4 núcleos, 32 GB de RAM y 100 GB de disco.
3. Instala Linux en la VM.
4. Instala Ollama:

curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.2

Configurar GPU-Passthrough

Para GPUs NVIDIA necesitas IOMMU en la BIOS. Activa VT-d o AMD-Vi. En Proxmox debes ajustar la línea de comandos del kernel:

# /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"

update-grub
reboot

Después puedes añadir la GPU en el hardware de la VM como dispositivo PCI. No es trivial y depende mucho de la placa base y la GPU.

Contenedores LXC en lugar de VMs

Los contenedores LXC se inician más rápido y consumen menos RAM. Para servicios ligeros como un proxy inverso, Open WebUI o APIs pequeñas, los contenedores LXC son ideales. Para Ollama con GPU, una VM suele ser mejor porque el GPU-Passthrough es más directo.

Red en Proxmox

Proxmox utiliza Linux Bridges. Para comenzar, es suficiente networking en modo puente simple. Crea una IP propia para cada VM o contenedor en la red local. Así puedes proteger servicios específicamente con reglas de cortafuegos.

Obstáculos comunes

• IOMMU no activado: Sin IOMMU en la BIOS, no hay GPU-Passthrough.
• GPU vinculada al host: A veces los drivers NVIDIA deben descargarse del host antes de que el passthrough funcione.
• RAM insuficiente: Las VMs para Ollama necesitan mucha RAM. Planifica 32 GB o más por VM.
• Espacio en disco: Los modelos ocupan mucho. Mínimo 100 GB por VM, preferiblemente 500 GB.
• CPU-Pinning: Fija núcleos de CPU específicamente para que la VM funcione estable.
• Snapshots antes de actualizaciones: Crea siempre un snapshot antes de probar un modelo nuevo o actualización.
• Red configurada incorrectamente: Asegúrate de que las VMs y contenedores estén en la VLAN correcta.
• Licencia gratuita: Proxmox es de código abierto, pero el soporte tiene costo. Sin soporte recibirás un aviso en la interfaz web.
• Pasar dispositivos USB: Para dispositivos USB a veces necesitas configurar manualmente el USB-Passthrough.
• Estrategia de copias de seguridad: Proxmox Backup Server es opcional, pero recomendado.

Hardware, costos y seguridad

Proxmox no requiere Windows Server. Funciona en hardware estándar. Lo decisivo son la RAM y los núcleos de CPU. Para GPU-Passthrough es importante una placa base adecuada. El software es gratuito. Los contratos de soporte son opcionales. La seguridad se logra mediante segmentación de red, copias de seguridad y VMs separadas por servicio.

Enlaces útiles

• Resumen Self-Hosting
• Ubuntu para IA
• Debian para IA
• Fundamentos de Docker
• Ollama en Linux
• CPU vs GPU
• GPU-Offloading

FAQ

¿Necesito Proxmox para Ollama?

No, Ollama también funciona directamente en Linux. Proxmox ayuda cuando quieres ejecutar múltiples servicios aislados.

¿Funciona Proxmox en hardware estándar?

Sí, muchos usan Proxmox en servidores caseros. Verifica soporte IOMMU para GPU-Passthrough.

¿Puedo asignar cualquier GPU?

No todas las GPUs ni placas base soportan passthrough. Verifica grupos IOMMU y soporte de placa base previamente.

¿Qué es mejor para Ollama: VM o LXC?

VM es mejor si necesitas GPU-Passthrough. LXC es más ligero, pero funciona mal con GPU-Passthrough.

¿Cuánta RAM necesita una VM de IA?

Para modelos de 7B bastan 16 GB, para 13B 32 GB, para modelos mayores 64 GB o más.

¿Es Proxmox gratuito?

Sí, el software es de código abierto. Los contratos de soporte son opcionales.

¿Puedo usar múltiples GPUs?

Sí, puedes asignar cada GPU individualmente a una VM, siempre que IOMMU esté correctamente configurado.

¿Cómo aseguro mis VMs?

Usa snapshots, copias de seguridad externas y aísla redes. Proxmox Backup Server es una buena opción.

¿Vale la pena Proxmox para un único servicio de IA?

Probablemente no. Para un servicio único, Linux simple directamente en el hardware es suficiente.

¿Cómo accedo a la interfaz web?

Por defecto en https://SERVER-IP:8006. Inicia sesión con root y la contraseña de instalación.

Fuentes

• Proxmox VE Documentation (proxmox.com)
• Ollama Linux Installation (ollama.com)
• PCI Passthrough Guide (archlinux.org)
• KVM e IOMMU Primer (kernel.org)