AnythingLLM: Aplicación de escritorio RAG para IA local

Qué cubre este artículo sobre AnythingLLM

• Qué es AnythingLLM y cómo te permite conversar con tus documentos sin escribir una sola línea de código
• Cómo instalar AnythingLLM como aplicación de escritorio o mediante Docker, y conectarlo con modelos locales
• Cómo funcionan los Workspaces y por qué simplifican el trabajo con diferentes colecciones de documentos
• Qué funcionalidades ofrece AnythingLLM, desde el modo agente hasta la fijación de respuestas
• Cuáles son los escollos comunes y cómo evitar problemas típicos

Introducción: AnythingLLM explicado con claridad

Si trabajas con IA local, tarde o temprano surge la misma necesidad: quieres conversar con tus propios documentos. Un manual en PDF, un conjunto de notas, un contrato, todo eso no debe permanecer solo en el disco duro, sino ser consultable. Formulas una pregunta y obtienes una respuesta basada en tu contenido.

Ese es exactamente el punto fuerte de AnythingLLM. Es una aplicación de escritorio que hace posible RAG sin necesidad de programación. No requieres Python, sin claves de API, sin línea de comandos. Instalas la app, cargas documentos y conversas sobre ellos. Detrás de escenas, AnythingLLM se encarga de los embeddings, la base de datos vectorial y la gestión del contexto.

En este artículo descubrirás qué puede hacer AnythingLLM, cómo instalarlo y cómo usarlo en tu día a día. Si eres nuevo en este tema, comienza leyendo nuestro artículo ¿Qué es la IA local?.

¿Por qué necesito AnythingLLM?

Imagina que tienes una carpeta llena de PDFs: manuales de operación, reportes de investigación, facturas, contratos. Quieres hacer preguntas específicas sobre ellos sin abrir y buscar en cada documento individualmente.

Sin AnythingLLM, el proceso se vería así:

• Buscas un framework RAG en Python y estudias su documentación
• Escribes código para embeddings, base de datos vectorial y recuperación
• Configuras una API o instalas Ollama manualmente
• Depuras errores hasta que finalmente funciona

Con AnythingLLM abres la app, arrastra tus PDFs mediante drag-and-drop a un Workspace y formula tu pregunta. Listo. Sin código, sin configuración, sin setup de API.

Probablemente necesites:

• Cargar documentos y hacer preguntas específicas sobre ellos sin programar
• Mantener diferentes áreas temáticas separadas en lugar de mezclar todo
• Usar modelos locales a través de Ollama o LM Studio sin enviar datos a la nube
• Contar con un agente que combine búsqueda web con RAG
• Una aplicación de escritorio que funcione como cualquier otro programa

AnythingLLM resuelve todos estos puntos. Para más información de fondo, consulta nuestro resumen sobre Software de IA local.

AnythingLLM en breve

AnythingLLM es una aplicación de escritorio para RAG con modelos locales y en la nube. Administra tus documentos en Workspaces, genera embeddings automáticamente y te permite hacer preguntas sobre tu contenido mediante chat. No requiere conocimientos de programación.

Sus características principales:

• Aplicación de escritorio: Se ejecuta como un programa normal en Windows, macOS y Linux
• RAG sin código: Carga documentos, formula preguntas, listo
• Workspaces: Cada Workspace tiene sus propios documentos y contexto independiente
• Multi-provider: Compatible con Ollama, LM Studio, OpenAI, Anthropic y otros
• Modo agente: Agentes integrados para búsqueda web, RAG y herramientas
• Opción Docker: Disponible para ejecutar en servidor o uso multiusuario

Si no conoces Ollama, primero lee nuestro artículo sobre Ollama.

¿Para quién es AnythingLLM?

AnythingLLM está dirigido a varios grupos de usuarios:

• Usuarios individuales que quieren conversar con sus documentos sin programar
• Profesionales del conocimiento que desean hacer consultables investigaciones, notas y manuales
• Pequeños equipos que quieren construir una base de conocimiento compartida
• Desarrolladores que desean experimentar con RAG antes de construir su propia solución
• Usuarios de auto-hospedaje que quieren ejecutar AnythingLLM en un servidor mediante Docker

No necesitas conocimientos previos. Si usas la aplicación de escritorio, la instalación es tan simple como en cualquier otro programa. Los fundamentos de RAG están en nuestro artículo Conceptos básicos de RAG.

Términos importantes sobre AnythingLLM

Término	Explicación
AnythingLLM	Aplicación de escritorio para RAG con modelos locales y en la nube, sin programación
Workspace	Área propia con documentos propios, contexto independiente y configuración separada
RAG	Generación aumentada por recuperación, permite hacer preguntas sobre tus propios documentos
Embedding	Vector numérico que representa el contenido de un fragmento de texto para búsqueda
Vector DB	Base de datos vectorial donde se almacenan y buscan los embeddings
Document	Un archivo que cargas en un Workspace, por ejemplo PDF o DOCX
Ollama	Herramienta que carga y ejecuta modelos locales, frecuentemente usada como backend para AnythingLLM
LLM Provider	Servicio o herramienta que proporciona el modelo de lenguaje, local o en la nube
Agent	Modo en que el modelo utiliza herramientas como búsqueda web o RAG
Pin	Fijar una respuesta o fragmento de texto para que permanezca en el contexto

Instalación

AnythingLLM ofrece dos caminos de instalación: la aplicación de escritorio para usuarios individuales y Docker para ejecutar en servidor.

Aplicación de escritorio

La aplicación de escritorio es la opción más simple. La descargas del sitio web oficial e instalas como cualquier otro programa.

• Windows: Descarga el instalador, ejecútalo y sigue el asistente
• macOS: Descarga el archivo .dmg, abrelo y arrastra AnythingLLM a la carpeta Aplicaciones
• Linux: Descarga el paquete apropiado: .deb para Ubuntu y Debian, o .AppImage para otras distribuciones

Después de instalar, inicia AnythingLLM como una aplicación normal. En el primer inicio, un asistente de configuración te guiará para seleccionar el LLM Provider.

Docker

Para ejecutar en servidor o si prefieres Docker, hay una imagen Docker oficial.

docker run -d -p 3001:3001 \
  -v anythingllm:/app/server/storage \
  -e STORAGE_DIR=/app/server/storage \
  --name anythingllm \
  --restart always \
  mintplexlabs/anythingllm

Explicación de cada parte:

• -d: El contenedor se ejecuta en segundo plano
• -p 3001:3001: El puerto 3001 de tu máquina se conecta al puerto 3001 en el contenedor
• -v anythingllm:/app/server/storage: Los documentos y la configuración se conservan
• --restart always: El contenedor se reinicia automáticamente después de un reinicio

Luego abre http://localhost:3001 en tu navegador. El primer inicio te guía a través de la configuración donde estableces el LLM Provider y la fuente de embeddings.

Configurar el LLM Provider

AnythingLLM soporta diferentes proveedores, tanto locales como en la nube. Decides dónde se procesan tus solicitudes.

Proveedores locales

• Ollama: La opción más común para modelos locales. Instala Ollama, descarga un modelo con ollama pull llama3.1 y selecciona “Ollama” como provider en AnythingLLM. Más información en Ollama.
• LM Studio: Una aplicación de escritorio que carga modelos y proporciona una API compatible con OpenAI. Ingresa la dirección de la API de LM Studio en AnythingLLM. Detalles en LM Studio.

Los proveedores locales tienen la ventaja de que tus datos nunca abandonan tu máquina. Sin embargo, necesitas hardware suficiente, especialmente para modelos más grandes. Los fundamentos están en Ejecutar LLM localmente.

Cloud-Provider

• OpenAI: Necesitas una clave API. Las consultas se ejecutan a través de los servidores de OpenAI, y tus documentos se envían allí para procesarlas.
• Anthropic: El mismo principio que OpenAI: necesitas una clave API y envías las consultas a los servidores de Anthropic.

Los proveedores en la nube son más fáciles de configurar y no requieren hardware local. El inconveniente es que tus datos salen de tu máquina. Tú decides qué compromiso te funciona mejor.

Embedding-Provider

Además del proveedor de LLM, también necesitas elegir un proveedor de embeddings. AnythingLLM utiliza el motor de embeddings interno de Ollama si seleccionas Ollama como proveedor. Alternativamente, puedes usar embeddings de OpenAI o el modelo de embeddings integrado en AnythingLLM. Para una operación puramente local, se recomienda Ollama o el modelo integrado.

Crear Workspaces

Los Workspaces son el concepto central en AnythingLLM. Un workspace es un área separada con sus propios documentos, su propio contexto y su propia configuración. Puedes crear tantos workspaces como necesites.

Ejemplos de workspaces:

• Manuales: Todos los PDF y guías técnicas
• Contratos: Facturas, contratos y documentos legales
• Notas: Tus apuntes personales y archivos Markdown
• Proyecto: Documentos relacionados con un proyecto específico

Cada workspace tiene:

• Su propia colección de documentos
• Su propio historial de chat
• Su propia configuración de system prompt
• Su propio contexto, es decir, el modelo solo ve los documentos de ese workspace

Esto significa que si haces una pregunta en el workspace “Manuales”, el modelo busca solo en los manuales, no en tus contratos. Eso mantiene las respuestas precisas y evita confusiones.

Creas un workspace desde la barra lateral. Haz clic en “New Workspace”, introduce un nombre y listo. Después cargas documentos y empiezas.

Más sobre RAG en nuestro artículo Lokales RAG.

Cargar documentos y chatear

Una vez que has creado un workspace, cargas documentos. AnythingLLM admite los siguientes formatos:

• PDF: El caso más común, por ejemplo manuales e informes
• DOCX: Documentos de Word
• TXT: Archivos de texto plano
• MD: Archivos Markdown
• CSV: Datos tabulares
• HTML: Páginas web guardadas como archivo

El proceso:

1. Abre el workspace donde quieres cargar documentos.
2. Haz clic en “Upload Documents” o arrastra archivos al ventana.
3. AnythingLLM procesa los archivos automáticamente: extrae el texto, lo divide en fragmentos, lo convierte en embeddings y lo almacena en la base de datos vectorial.
4. Una vez finalizada la carga, puedes hacer preguntas sobre los documentos en el chat.

No tienes que preocuparte por embeddings, chunking o bases de datos vectoriales. AnythingLLM lo hace en segundo plano. Carga, espera un poco y empieza a chatear.

Un flujo típico: cargas un PDF de 50 páginas en el workspace “Manuales”, haces la pregunta “¿Cómo reinicio la hora?” y recibes la respuesta con referencia a la sección correcta del documento.

Modo Agent

AnythingLLM incluye un modo agente que va más allá del simple chat. En modo agente, el modelo puede usar herramientas para completar tareas.

Las herramientas disponibles incluyen:

• Búsqueda web: El modelo busca información actual en internet
• RAG: El modelo busca en los documentos del workspace actual
• Creación de archivos: El modelo puede generar archivos y ofrecerlos para descargar
• Resumen: Resumir automáticamente documentos largos
• Listas y tablas: Generar salidas estructuradas

Activas el modo agente en la ventana de chat. Selecciona el modo y el modelo decide automáticamente qué herramienta usar para tu pregunta. Por ejemplo, si preguntas “¿Qué dicen mis documentos sobre protección de datos y qué dice la RGPD actual al respecto?”, el agente combina RAG con búsqueda web.

El modo agente es especialmente útil cuando quieres combinar información de diferentes fuentes. Funciona con modelos locales y en la nube, aunque no todos los modelos soportan todas las herramientas por igual.

AnythingLLM vs. Open WebUI vs. RAG personalizado

Estos tres enfoques se comparan frecuentemente, pero son adecuados para escenarios diferentes:

Característica	AnythingLLM	Open WebUI	RAG personalizado
Tipo	Aplicación de escritorio	Interfaz web	Proyecto propio
RAG sin código	Sí	Sí, limitado	No
Workspaces	Sí, concepto central	No	Construido por ti
Modo agente	Sí, integrado	Limitado	Construido por ti
Aplicación de escritorio	Sí	No	No
Soporte Docker	Sí	Sí	Construido por ti
Multi-usuario	Sí, en versión Docker	Sí	Construido por ti
Público objetivo	Usuarios individuales, profesionales del conocimiento	Equipos, familias	Desarrolladores

En pocas palabras: AnythingLLM es la mejor opción si quieres RAG sin código y necesitas workspaces. Open WebUI es mejor si quieres gestionar múltiples usuarios y prefieres una interfaz web pura. RAG personalizado solo tiene sentido si necesitas control total y sabes programar. Más sobre Open WebUI en el artículo Open WebUI.

Ejemplo: Buscar en PDFs con AnythingLLM

Aquí está el flujo completo desde la instalación hasta tu primera pregunta:

1. Instalar AnythingLLM: Descarga la aplicación de escritorio e instálala. Inicia la aplicación.
2. Recorrer el asistente de configuración: Elige Ollama como proveedor de LLM y Ollama como proveedor de embeddings. Si Ollama aún no está ejecutándose, instálalo primero y carga un modelo con ollama pull llama3.1.
3. Crear un workspace: Haz clic en “New Workspace” y asígnalee un nombre, por ejemplo “Manuales”.
4. Cargar documentos: Haz clic en “Upload Documents” y selecciona tus PDFs. Espera a que finalice el procesamiento.
5. Hacer una pregunta: Escribe una pregunta en la ventana de chat, por ejemplo “¿Cómo limpio el filtro?”.
6. Revisar la respuesta: AnythingLLM busca en tus PDFs, encuentra la sección relevante y construye la respuesta sobre eso.
7. Hacer preguntas de seguimiento: Formula preguntas adicionales para aclarar detalles. El contexto se mantiene.

Todo el proceso toma aproximadamente 10 a 15 minutos, dependiendo de la cantidad de documentos y la velocidad de tu hardware.

Problemas comunes en AnythingLLM

AnythingLLM es fácil de usar, pero hay algunos detalles que generan preguntas regularmente:

1. Ollama no se encuentra: Si Ollama no está ejecutándose o está escuchando en un puerto diferente, AnythingLLM no puede conectarse. Verifica que Ollama esté activo y que la dirección en la configuración sea correcta.
2. Los embeddings son lentos: Al cargar documentos grandes por primera vez, la creación de embeddings toma tiempo, especialmente en CPU. Es normal y solo ocurre una vez por documento.
3. Las respuestas son imprecisas: Si un workspace contiene demasiados documentos diversos, el contexto se vuelve confuso. Divide el contenido en varios workspaces.
4. No se encuentran documentos: AnythingLLM solo busca en el workspace activo. Si haces una pregunta en el workspace equivocado, el modelo no encuentra nada. Comprueba en qué workspace estás.
5. El almacenamiento se llena: Los embeddings y documentos requieren espacio. Con muchos PDFs grandes, el uso de almacenamiento crece rápidamente. Controla el espacio, especialmente en Docker.
6. Los proveedores en la nube envían datos al exterior: Si eliges OpenAI o Anthropic como proveedor, tus documentos se envían al servicio en la nube para procesarlos. Si quieres permanecer local, usa Ollama o LM Studio.
7. El modo agente produce resultados inesperados: No todos los modelos soportan todas las herramientas bien. Si el agente proporciona respuestas inutilizables, cambia el modelo o desactiva el modo agente.
8. Pérdida de datos después de actualizar: Sin mapeo de volúmenes en Docker, todos los workspaces desaparecen después de un reinicio. El parámetro -v en el comando Docker es importante.

Hardware, costes y seguridad en AnythingLLM

Hardware: AnythingLLM es muy ligero en términos de recursos propios. El consumo real proviene del modelo de lenguaje y el cálculo de embeddings. Para modelos pequeños de hasta 8 mil millones de parámetros, una máquina estándar con 16 GB de RAM es suficiente. Con modelos más grandes, conviene una GPU con memoria dedicada. Como regla orientativa: 8 GB de VRAM para modelos hasta 8 mil millones de parámetros, más para versiones mayores. El cálculo de embeddings funciona en CPU sin problemas, aunque de forma más lenta.

Costes: AnythingLLM es código abierto y completamente gratuito. No pagas nada por la aplicación. Los gastos surgen únicamente si necesitas mejorar tu hardware y por el consumo eléctrico. Si utilizas proveedores en la nube, se suman los costes por llamadas a API.

Seguridad: Con proveedores locales, tus datos permanecen en tu máquina. Esta es la ventaja más importante frente a los servicios en la nube. Aun así, ten en cuenta estos puntos:

• Usa proveedores en la nube solo si aceptas que tus documentos salgan de tu máquina
• No expongas AnythingLLM en Docker en una red abierta sin autenticación
• Mantén el software actualizado para cerrar vulnerabilidades de seguridad
• Aísla correctamente los workspaces, especialmente si múltiples personas acceden

Enlaces y recursos sobre AnythingLLM

• AnythingLLM en GitHub
• Sitio oficial
• Documentación de AnythingLLM
• Ollama en BotServ.de
• LM Studio en BotServ.de
• Open WebUI en BotServ.de
• RAG local en BotServ.de
• Fundamentos de RAG en BotServ.de

Preguntas frecuentes sobre AnythingLLM

¿Es AnythingLLM gratuito? Sí, AnythingLLM es código abierto y sin coste. No pagas por el software, solo por el hardware que lo ejecuta. Los proveedores en la nube pueden generar costes adicionales.

¿Necesito Ollama para AnythingLLM? No es obligatorio. AnythingLLM también soporta LM Studio, OpenAI, Anthropic y otros proveedores. Sin embargo, Ollama es la opción más común y simple para modelos locales.

¿Puedo instalar AnythingLLM sin Docker? Sí, la aplicación de escritorio se instala como cualquier otro programa. Docker solo es necesario si ejecutas AnythingLLM en un servidor.

¿Funciona AnythingLLM en macOS? Sí, hay una versión nativa para macOS. Descargas el archivo .dmg e instalas normalmente.

¿Puedo usar múltiples workspaces simultáneamente? Sí, puedes crear tantos workspaces como necesites y cambiar entre ellos. Cada workspace tiene sus propios documentos y contexto.

¿Qué formatos de archivo soporta AnythingLLM? PDF, DOCX, TXT, MD, CSV e HTML están entre los formatos soportados. La lista completa la encuentras en la documentación.

¿Necesito una GPU? Para modelos pequeños la CPU es suficiente. Para trabajar sin problemas con modelos más grandes y embeddings rápidos, una GPU es recomendable.

¿Puedo conectar AnythingLLM con servicios en la nube? Sí, puedes integrar OpenAI, Anthropic y otros proveedores. En ese caso, las solicitudes pasan por el servicio en la nube y tus datos salen de tu máquina.

¿Cómo actualizo AnythingLLM? La aplicación de escritorio tiene una función de actualización integrada. Con Docker, ejecutas docker pull mintplexlabs/anythingllm para obtener la imagen más reciente y reinicia el contenedor. El volumen preserva tus datos.

¿Cuál es la diferencia entre workspaces y chats normales? Los chats normales no tienen relación con tus documentos. Los workspaces vinculan chats con una colección específica de documentos, permitiendo al modelo acceder a ellos directamente.

¿Puedo copiar documentos de un workspace a otro? Sí, puedes asignar documentos a múltiples workspaces. Es útil cuando ciertos archivos son relevantes en varios contextos.

¿El modo agente está disponible en todos los modelos? El modo agente funciona con la mayoría de modelos, pero no todos soportan todas las herramientas por igual. Los modelos locales de 8 mil millones de parámetros en adelante suelen dar resultados útiles.

Referencias y lecturas adicionales

• Documentación de AnythingLLM: https://docs.anythingllm.com/
• Repositorio de AnythingLLM en GitHub: https://github.com/Mintplex-Labs/anything-llm
• Documentación de Ollama: https://ollama.com/
• Más artículos en BotServ.de: Software de IA local, ¿Qué es IA local?, RAG local