Modelos de texto para IA local

Qué cubre este artículo

• Qué son los modelos de texto y cómo funcionan.
• Qué modelos de código abierto funcionan bien con textos en alemán.
• Cómo equilibrar tamaño, calidad y requisitos de hardware.
• Dónde se utilizan los modelos de texto en chat, RAG y automatización.
• Trampas típicas y mejores prácticas.

Introducción: modelos de texto para IA local

Los modelos de texto, también conocidos como Large Language Models o LLMs, son la forma más conocida de IA. Comprenden y generan lenguaje natural. Para aplicaciones locales, existen muchos modelos de código abierto que funcionan en hardware de consumidor. Cubren tareas como chat, resumen, traducción y análisis de texto.

La oferta es amplia: Llama, Qwen, Mistral, Gemma, Phi y muchos más. Cada modelo tiene fortalezas y debilidades. La elección correcta depende del hardware, idioma, tarea y nivel de calidad requerido. Quien entienda qué busca encontrará un modelo adecuado sin experimentos costosos.

¿Por qué necesito modelos de texto?

Los modelos de texto son versátiles. Pueden:

• Responder preguntas,
• Resumir textos,
• Traducir,
• Reescribir textos,
• Redactar correos y documentos,
• Seguir instrucciones,
• Actuar como socio de lluvia de ideas.

Cuando se ejecutan localmente, todas las entradas y resultados permanecen en tu propia red. Esto es imprescindible para contenido sensible.

Modelos de texto explicados brevemente

Un modelo de texto es una red neuronal entrenada con enormes cantidades de texto. Aprende qué palabras suelen aparecer en cierto contexto. Al generar, añade palabra tras palabra. Los modelos modernos utilizan arquitectura Transformer y ventanas de contexto enormes.

Términos importantes:

• Parámetros: Número de pesos entrenados. Generalmente miles de millones.
• Ventana de contexto: Longitud máxima del texto de entrada.
• Inference: Generación real de texto.
• Cuantización: Reduce la precisión de los pesos, ahorra memoria.
• Alucinación: El modelo inventa información falsa.
• Prompt: Entrada para el modelo.

¿Para quién son los modelos de texto?

• Para principiantes que quieren probar un chat de IA localmente.
• Para usuarios que desean resumir o reescribir textos.
• Para desarrolladores que integran modelos de lenguaje en aplicaciones.
• Para equipos que ejecutan chatbots o sistemas RAG.
• Para personas conscientes de la privacidad que no quieren usar la nube.

Términos clave sobre modelos de texto

• Llama: Familia de modelos de Meta.
• Qwen: Familia de modelos de Alibaba, muy sólida en muchos idiomas.
• Mistral: Familia de modelos francesa, eficiente y con buen rendimiento.
• Gemma: Familia de modelos ligeros de Google.
• Phi: Serie de modelos de Microsoft, particularmente eficiente.
• Ollama: Herramienta para ejecutar fácilmente modelos locales.

Modelos de texto más comunes

Llama 3.1

Muy popular, abierto y bien documentado. La variante de 8B funciona en hardware de consumidor estándar. Las variantes más grandes requieren más VRAM. Buena calidad general, también para alemán.

Qwen2.5

Excelentes capacidades multilingües. Qwen2.5 7B es una opción versátil de primera clase. Las versiones de 14B y 32B ofrecen resultados aún mejores. Especialmente recomendado para textos en alemán.

Mistral 7B

Conocido desde hace tiempo por buen rendimiento con bajos requisitos de recursos. Nemo y variantes más grandes ofrecen mayor potencia.

Gemma 2

Modelo de Google, muy compacto. Las versiones de 2B y 4B son adecuadas para uso puro en CPU. Las de 9B y 27B ofrecen mejor calidad.

Phi-4

Modelo de Microsoft, muy eficiente. Buena calidad incluso en tamaños más pequeños. Ten en cuenta la licencia.

Requisitos de hardware

• 2B-4B: Funcionan en muchas CPUs, incluso con poca RAM.
• 7B-9B: Se recomiendan 8-12 GB de VRAM, CPU es posible pero lento.
• 14B-16B: Se recomiendan 16-24 GB de VRAM.
• 32B-70B: 24 GB de VRAM o más, a menudo múltiples GPUs.

La cuantización reduce los requisitos. Un modelo de 8B en formato de 4 bits cabe en 8 GB de VRAM.

Ejemplo práctico: tu primer modelo con Ollama

ollama pull qwen2.5:7b
ollama run qwen2.5:7b

El modelo se descarga e inicia una sesión de chat interactiva. No podría ser más sencillo.

Dónde se utilizan los modelos de texto

• Asistente de chat: Pregunta y respuesta directa.
• RAG: Responde preguntas basadas en tus propios documentos.
• Resumen: Acorta textos largos.
• Traducción: Traduce textos entre idiomas.
• Ajuste de estilo: Reescribe textos.
• Automatización: Procesa correos o tickets.

Trampas típicas con modelos de texto

• Tamaño de modelo incorrecto: Los modelos más pequeños son más rápidos, pero menos capaces.
• Contexto demasiado corto: Los documentos largos no caben en el modelo.
• Alucinaciones: Los modelos inventan hechos.
• Prompts deficientes: Las entradas poco claras generan resultados deficientes.
• Idioma incorrecto: Algunos modelos son menos adecuados para alemán.
• Licencia: No todos los modelos son utilizables comercialmente.

Enlaces e información adicional

• BotServ.de Ollama
• BotServ.de Cuantización
• BotServ.de RAG local
• BotServ.de Buscador de modelos
• Ollama Library

FAQ: Modelos de texto

¿Qué modelo para principiantes? Qwen2.5 7B o Llama 3.1 8B.

¿Necesito una GPU? Para respuestas rápidas sí. Los modelos pequeños funcionan también en CPU.

¿Qué es la cuantización? Reduce la precisión de los pesos del modelo. Ahorra memoria con poca pérdida de calidad.

¿Cuál es el tamaño de la ventana de contexto? Según el modelo, 8K, 32K, 128K o más tokens.

¿Son los modelos locales conformes con la privacidad de datos? Sí, si no se utiliza ningún servicio externo.

Fuentes y lecturas complementarias

• Ollama: https://ollama.com/
• Llama: https://llama.meta.com/
• Qwen: https://qwenlm.github.io/
• Mistral: https://mistral.ai/

Resumen: modelos de texto para IA local

Los modelos de texto son la puerta de entrada a la IA local. Llama, Qwen, Mistral, Gemma y Phi ofrecen variantes adecuadas para muchos niveles de hardware. Los modelos de 7B a 9B son un buen comienzo, los modelos más grandes ofrecen mejor calidad. Lo importante es el tamaño del modelo, la ventana de contexto, la cuantización y el comportamiento del idioma. Una vez que hayas elegido un modelo adecuado, puedes ejecutar chat, RAG, resumen y automatización localmente.