Modelos de IA Local
Qué encontrarás en este artículo
- Cómo encontrar un modelo adecuado para IA local.
- Qué criterios son importantes al elegir.
- Referencias a artículos sobre modelos.
Introducción
No todos los modelos funcionan bien en entornos locales. El tamaño, la cuantización y la licencia son factores determinantes. Esta sección reúne el conocimiento necesario para elegir un LLM local de forma informada.
Contenido
- Encontrar modelo - Criterios y fuentes para modelos locales adecuados.
- Modelos Llama - La serie open source de Meta: Llama 3.1, 3.2, 3.3.
- Modelos Mistral - La alternativa europea: Mistral 7B, Mixtral MoE.
- Modelos Qwen - La serie multilingüe de Alibaba con fortaleza en programación.
- Modelos Phi - Los SLMs compactos de Microsoft para despliegue edge.
- Modelos DeepSeek - Reasoning y programación con R1-Distills.
- Modelos Gemma - Los modelos ligeros de Google.
- Benchmarks de IA - MMLU, HumanEval, GSM8K y comparativas de modelos.
- Comparativa de cuantización - Q4 vs Q5 vs Q8 en la práctica.
Criterios clave
| Criterio | Importancia |
|---|---|
| Tamaño del modelo | Determina los requisitos de RAM o VRAM |
| Cuantización | Reduce el tamaño, afecta la calidad |
| Licencia | Regula el uso comercial |
| Tarea | Programación, chat, reasoning o multilingüe |
Preguntas frecuentes
¿Qué tamaño de modelo necesito?
Para tareas de texto, los modelos de 7B a 13B parámetros suelen ser suficientes. Para tareas complejas de programación o reasoning, son preferibles los de 13B a 70B.
¿Dónde puedo obtener modelos?
Ollama, Hugging Face, LM Studio y modelos de Kaggle o GitHub son fuentes habituales.