AnythingLLM con Ollama por Docker Compose

Qué cubre este artículo

• Cómo iniciar AnythingLLM y Ollama con Docker Compose.
• Cómo se ve un archivo Compose adecuado.
• Qué volúmenes y variables de entorno son importantes.
• Cómo acceder a la interfaz y conectar tu primer modelo.

Introducción: AnythingLLM con Ollama por Docker Compose

AnythingLLM es una interfaz amigable para chatear con tus propios documentos. Ollama proporciona el modelo de lenguaje local. Juntos forman un sistema RAG completo sin necesidad de escribir código. Con Docker Compose puedes administrar ambos servicios en un único archivo e iniciarlos con un solo comando.

Esta guía te muestra un archivo Compose mínimo que funciona en pocos minutos. Es ideal si quieres probar rápidamente si AnythingLLM se adapta a tus PDFs y documentos.

¿Por qué necesito Docker Compose?

Sin Docker Compose debes iniciar cada contenedor por separado y configurar la conexión manualmente. Compose agrupa ambos servicios y se asegura de que se comuniquen entre sí. Ahorras tiempo y reduces errores. Además, detener, actualizar y hacer copias de seguridad se vuelve más sencillo.

Requisitos previos

• Docker y Docker Compose están instalados.
• Al menos 8 GB de RAM, preferiblemente 16 GB.
• Una máquina con Linux, Windows con WSL2 o macOS.
• Una carpeta donde colocar el archivo Compose y los volúmenes.

Archivo Compose para AnythingLLM y Ollama

Crea un archivo llamado docker-compose.yml:

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    volumes:
      - ollama_data:/root/.ollama
    ports:
      - "11434:11434"
    restart: unless-stopped

  anythingllm:
    image: mintplexlabs/anythingllm:latest
    container_name: anythingllm
    ports:
      - "3001:3001"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    volumes:
      - anythingllm_data:/app/server/storage
    depends_on:
      - ollama
    restart: unless-stopped

volumes:
  ollama_data:
  anythingllm_data:

Guarda el archivo y ejecuta este comando en la misma carpeta:

docker compose up -d

El comando descarga las imágenes, crea los volúmenes e inicia ambos contenedores. Poco después, AnythingLLM estará disponible en http://localhost:3001.

Términos clave en Docker Compose

• Service: Un contenedor definido en el archivo Compose.
• Volume: Almacenamiento persistente que se mantiene incluso después de reiniciar el contenedor.
• Port-Mapping: Conecta puertos del contenedor con puertos del host.
• depends_on: Asegura que Ollama se inicie antes que AnythingLLM.
• OLLAMA_BASE_URL: Indica a AnythingLLM dónde está disponible Ollama.

Cargar tu primer modelo

Después del inicio, carga un modelo en Ollama:

docker exec -it ollama ollama pull llama3.1

Luego accede a http://localhost:3001 y selecciona Ollama como proveedor en AnythingLLM. El modelo aparecerá automáticamente.

Para quién es esta guía

• Para principiantes que quieren probar rápidamente un sistema RAG local.
• Para equipos que desean configurar un sistema de gestión de conocimiento compartido.
• Para cualquiera que prefiera Docker y no quiera instalar software adicional.

Problemas comunes

• RAM insuficiente: Los modelos grandes consumen mucha memoria. Modelos más pequeños como llama3.2 o phi4-mini son ideales para pruebas iniciales.
• Puerto 3001 ocupado: Si es necesario, cambia el puerto en la entrada ports.
• Ollama no es accesible: Verifica que el contenedor esté funcionando y que OLLAMA_BASE_URL sea correcto.
• Pérdida de datos: Sin volúmenes, todos los documentos y modelos se pierden al reiniciar.

Enlaces y recursos adicionales

• AnythingLLM en BotServ.de
• Ollama en BotServ.de
• Fundamentos de Docker
• Documentación de AnythingLLM

Preguntas frecuentes: AnythingLLM con Ollama por Docker Compose

¿Necesito una GPU? No, pero es recomendable. Los modelos pequeños funcionan en CPU, aunque más lentamente.

¿Puedo usar varios modelos? Sí. Carga múltiples modelos con ollama pull y selecciónalos en AnythingLLM.

¿Dónde se guardan mis datos? En los volúmenes Docker ollama_data y anythingllm_data.

¿Cómo detengo todo? Con docker compose down. Usa docker compose down -v para eliminar también los volúmenes.

¿Funciona en Windows? Sí, con WSL2 y Docker Desktop.

Referencias e información adicional

• Imagen Docker de Ollama: https://hub.docker.com/r/ollama/ollama
• Imagen Docker de AnythingLLM: https://hub.docker.com/r/mintplexlabs/anythingllm
• Docker Compose: https://docs.docker.com/compose/