Proxmox para IA local

Qué cubre este artículo

Por qué Proxmox es adecuado para servidores de IA.
Diferencia entre máquinas virtuales y contenedores LXC.
Cómo funciona el paso de GPU para cargas de trabajo de IA.
Estrategias efectivas de respaldo y recuperación.

Introducción: Proxmox para IA local

Proxmox VE es una plataforma de virtualización de código abierto que combina KVM para máquinas virtuales y LXC para contenedores ligeros. Si quieres ejecutar un servidor de IA en casa o en un rack, Proxmox te permite separar claramente varios servicios: Ollama, RAG, reverse-proxy, web UI y automatización corren cada uno en su propio contenedor o máquina virtual.

¿Por qué Proxmox para IA?

Proxmox proporciona una interfaz web centralizada para gestionar almacenamiento, red, recursos y copias de seguridad. Puedes crear snapshots antes de actualizar, asignar recursos de forma selectiva y probar nuevos servicios rápidamente. Para cargas de trabajo de IA, el paso de GPU es fundamental: una máquina virtual obtiene acceso directo a la tarjeta gráfica.

Máquinas virtuales vs. LXC

Las máquinas virtuales se ejecutan en KVM y están completamente aisladas. Son apropiadas para Ollama o vLLM cuando se necesita acceso directo a la GPU.

Los contenedores LXC son más ligeros y ahorran recursos. Comparten el kernel del host. Son ideales para interfaces web, reverse-proxys, monitorización o pequeños servicios en Python.

Para un entorno típico de IA local, tiene sentido usar una combinación: Ollama en una máquina virtual con paso de GPU, Open WebUI y RAG en contenedores LXC.

Configurar el paso de GPU

Para el paso de GPU, debes habilitar IOMMU y VT-d en la BIOS. Proxmox agrupa dispositivos PCI y permite pasarlos a una máquina virtual. Con GPUs individuales sin interfaz de escritorio en el host, esto suele ser sencillo. Con equipos de escritorio que tienen varias GPUs, tienes que tener cuidado con los grupos de recursos y el comportamiento de arranque.

Ollama dentro de una máquina virtual reconoce la GPU pasada como una tarjeta física. El rendimiento es prácticamente idéntico al funcionamiento bare-metal.

Respaldo y recuperación

Proxmox incluye una herramienta de respaldo integrada. Las copias de seguridad regulares de máquinas virtuales y contenedores se automatizan fácilmente. Los datos importantes, como configuraciones, modelos y bases de datos vectoriales, deben duplicarse además en almacenamiento separado, ya que de lo contrario los respaldos consumirán mucho espacio repetidamente.