Ejecutar agentes de IA con LM Studio

IRC-Mania Die Seite rund um Sicherheit und Programmierung

Internet, Sicherheit , Internet Relay Chat

Gesponsert

Qué trata este artículo sobre LM Studio

• Cómo ejecutar agentes de IA con LM Studio.
• Configuración, selección de modelos y tool calling con LM Studio.
• Cómo conectar LM Studio con frameworks de agentes.
• Ejemplos prácticos para agentes locales.
• Mejores prácticas para rendimiento y privacidad.

Introducción: LM Studio para agentes explicado de forma accesible

LM Studio es una aplicación de escritorio para LLMs locales. Ofrece una interfaz sencilla, API local y endpoints compatibles con OpenAI. Para agentes, esto significa: configuración simple, modelos locales, sin nube.

Este artículo está dirigido a usuarios que quieren ejecutar agentes con LM Studio. Encontrarás conceptos básicos en LM Studio y Ejecutar agentes de IA localmente.

¿Por qué necesito LM Studio para agentes?

Imagina que quieres ejecutar un agente localmente, pero Ollama te parece demasiado técnico. LM Studio ofrece una interfaz gráfica: carga el modelo, inicia el servidor, usa la API. Para los frameworks de agentes, la API es compatible con OpenAI.

LM Studio para agentes en pocas palabras

LM Studio = interfaz gráfica para LLMs locales + API local (compatible con OpenAI). Los frameworks de agentes (LangChain, CrewAI) se conectan a través de la API. Todo local, sin nube.

La idea central es: configuración sencilla para agentes locales.

¿Para quién es este artículo?

• Principiantes que quieren ejecutar agentes sin terminal.
• Desarrolladores que desean probar agentes locales rápidamente.
• Usuarios preocupados por la privacidad que prefieren interfaz gráfica en lugar de línea de comandos.
• Prototipadores que quieren construir agentes rápidamente.

Términos clave

• LM Studio - Interfaz gráfica para LLMs locales. Útil para: configuración simple.
• Ollama - CLI para LLMs locales. Útil para: como alternativa.
• API compatible con OpenAI - API estándar. Útil para: frameworks de agentes.
• Tool calling - Llamar herramientas. Útil para: agentes.
• LangChain - Framework de agentes. Útil para: agentes complejos.

Configuración

1. Instalar LM Studio

# Descargar de lmstudio.ai
# O usar: Flatpak, AppImage, etc.

# Iniciar
lm-studio

2. Cargar un modelo

1. Abre LM Studio
2. Busca un modelo (por ejemplo, llama3.1, qwen2.5)
3. Comienza la descarga
4. Carga el modelo

3. Iniciar el servidor

1. Haz clic en la pestaña “Server”
2. Puerto: 1234 (predeterminado)
3. Haz clic en “Start Server”
4. La API se ejecuta en http://localhost:1234/v1

4. Conectar con un framework de agentes

from openai import OpenAI

# API de LM Studio (compatible con OpenAI)
client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="not-needed"  # LM Studio no necesita una clave
)

# Bucle del agente
response = client.chat.completions.create(
    model="local-model",
    messages=[
        {"role": "system", "content": "Eres un agente con herramientas."},
        {"role": "user", "content": "¿Cuál es la temperatura?"}
    ],
    tools=tools,
    tool_choice="auto"
)

Ejemplo práctico: Agente con LM Studio

import json
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="not-needed"
)

class LMStudioAgent:
    def __init__(self):
        self.tools = {
            "get_weather": self.get_weather,
            "get_time": self.get_time,
            "calculate": self.calculate
        }

    def run(self, task):
        """Bucle del agente"""
        messages = [{"role": "user", "content": task}]

        for _ in range(10):  # Máximo de iteraciones
            response = client.chat.completions.create(
                model="local-model",
                messages=messages,
                tools=self.get_tool_definitions(),
                tool_choice="auto"
            )

            message = response.choices[0].message
            messages.append(message)

            # Procesar llamadas a herramientas
            if message.tool_calls:
                for tool_call in message.tool_calls:
                    result = self.execute_tool(tool_call)
                    messages.append({
                        "role": "tool",
                        "content": json.dumps(result),
                        "tool_call_id": tool_call.id
                    })
            else:
                return message.content

        return "Max iterations reached"

    def execute_tool(self, tool_call):
        """Ejecutar herramienta"""
        name = tool_call.function.name
        args = json.loads(tool_call.function.arguments)
        return self.tools[name](**args)

LM Studio vs. Ollama

Notas de seguridad

• Todo local: LM Studio no envía datos a ningún lado.
• Selección de modelos: Verifica si el modelo contiene telemetría.
• Seguridad de la API: La API local no está autenticada. Usa un firewall para accesos externos.
• Almacenamiento de modelos: Los modelos pueden ser grandes. Verifica el espacio disponible.

Problemas comunes

• Modelo demasiado grande: Modelos grandes (>30B) necesitan mucha RAM o VRAM.
• API no accesible: El servidor debe estar iniciado. Verifica el puerto.
• Tool calling no compatible: No todos los modelos soportan tool calling. Verifica antes de usar.
• Lento: LM Studio puede ser más lento que Ollama para agentes.
• Sin soporte para múltiples modelos: LM Studio carga un modelo a la vez. Para varios, cambia de modelo o ejecuta múltiples instancias.

Enlaces útiles

• LM Studio - LM Studio en detalle.
• Ollama - Alternativa.
• Ejecutar agentes de IA localmente - Descripción general.
• Tool calling - Conceptos básicos.
• LangChain - Framework de agentes.

Puntos clave:

• LM Studio = interfaz gráfica para LLMs locales + API compatible con OpenAI.
• Configuración simple para agentes sin terminal.
• Para usuarios de escritorio y prototipado.
• API compatible con OpenAI para frameworks de agentes.
• Para producción: Ollama o vLLM ofrecen mejor rendimiento.

Preguntas frecuentes

Fuentes y lecturas adicionales

• LM Studio - Sitio web oficial.
• OpenAI API - Referencia de API.
• Ollama - Alternativa.

Premium VPS Hosting

Schnelle und sichere VPS Server

Gesponsert