Modelos de embedding para IA local

Qué cubre este artículo sobre modelos de embedding

• Qué son los embeddings y cómo funcionan.
• Cómo se convierten texto, imágenes o datos mixtos en vectores.
• Qué modelos de embedding funcionan bien con textos en alemán.
• Cómo se utilizan embeddings en RAG y búsqueda semántica.
• Selección, dimensiones, métricas y trampas comunes.

Introducción: Modelos de embedding para IA local

Los modelos de embedding son el corazón de muchas aplicaciones de IA. Transforman texto, imágenes u otros datos en vectores, es decir, secuencias de números. Estos vectores capturan el significado de un contenido. El contenido similar se agrupa cerca en el espacio vectorial. Esto permite búsqueda, clustering y recomendaciones.

Los sistemas RAG, búsqueda semántica y análisis de documentos funcionan todos con embeddings. A menudo, un buen modelo de embedding es más importante que un modelo de lenguaje gigante. Porque incluso el mejor modelo de lenguaje solo puede responder correctamente cuando la búsqueda encuentra los fragmentos correctos.

¿Por qué necesito modelos de embedding?

Si quieres buscar documentos, imágenes o clips de audio, necesitas más que simple búsqueda por palabras clave. Los embeddings permiten búsqueda semántica. Puedes buscar conceptos en lugar de solo palabras exactas. Algunos ejemplos:

• “¿Cuál es el período de aviso?” encuentra la cláusula correcta del contrato, incluso si la pregunta se formula de manera diferente.
• “Problemas en la instalación de la GPU” encuentra la sección de solución de problemas relevante.
• “Quejas de clientes similares” encuentra tickets anteriores con significado parecido.

Los embeddings hacen que datos no estructurados sean buscables.

Modelos de embedding explicados brevemente

Un modelo de embedding toma un texto de entrada y devuelve un vector de longitud fija. La longitud se denomina dimensión. Las dimensiones comunes están entre 384 y 4096. Detrás del modelo suele haber un Transformer que codifica significado en números.

Términos importantes:

• Embedding: Vector que representa el significado de un contenido.
• Dimensión: Longitud del vector.
• Base de datos vectorial: Almacenamiento que busca embeddings de manera eficiente.
• Búsqueda semántica: Búsqueda por significado en lugar de palabras exactas.
• Similitud del coseno: Medida de la cercanía entre dos vectores.
• Reranking: Reevaluar los mejores resultados después de la búsqueda.

¿Para quién son los modelos de embedding?

• Para desarrolladores que construyen sistemas RAG.
• Para equipos que quieren buscar en documentos o tickets.
• Para investigadores que analizan datos.
• Para todos los que quieren ejecutar búsqueda semántica de forma local.

Términos importantes relacionados con embeddings

• Sentence Transformers: Biblioteca y clase de modelo para embeddings de oraciones.
• E5, BGE, GTE: Familias de modelos de embedding populares.
• Multilingual: Soporte para múltiples idiomas, incluyendo alemán.
• MTEB: Benchmark para modelos de embedding.
• Vectores dispersos: Vectores con pocos valores distintos de cero, por ejemplo BM25.
• Vectores densos: Embeddings normales con muchos valores.

Modelos de embedding comunes

all-MiniLM-L6-v2

Pequeño y rápido. 384 dimensiones. Adecuado para prototipos y conjuntos de datos más pequeños. El alemán funciona, pero no tan bien como los modelos multilingües especializados.

BGE-m3

Modelo multilingüe de BAAI. Un buen compromiso entre calidad y tamaño. 1024 dimensiones. También admite recuperación dispersa. Fuerte para RAG.

nomic-embed-text-v1.5

Modelo de embedding de código abierto con buen desempeño. 768 dimensiones. Buena calidad en alemán y licencia comercial.

e5-mistral-7b-instruct

Modelo grande con muy alta calidad. Requiere significativamente más recursos. Solo tiene sentido cuando se necesita la máxima calidad.

Ejemplo práctico: Embedding con Python

Con sentence-transformers puedes generar embeddings rápidamente:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('BAAI/bge-m3')
texte = ['Hallo Welt', 'Lokale KI ist datenschutzkonform']
embeddings = model.encode(texte)

print(embeddings.shape)

La salida muestra la dimensión del vector y el número de textos.

Embeddings en bases de datos vectoriales

Después de la creación, los embeddings se almacenan en una base de datos vectorial. Durante una búsqueda, la pregunta también se convierte en un vector. La base de datos encuentra los vecinos más cercanos. Algunas bases de datos populares:

• Chroma: Simple, buena para prototipos.
• Qdrant: Rápida, escalable, compatible con Docker.
• pgvector: Extensión para PostgreSQL.
• Weaviate: Características empresariales, modular.

Dimensiones, tamaño y velocidad

• Dimensiones más pequeñas: Menos memoria, búsqueda más rápida, menor calidad.
• Dimensiones más grandes: Más memoria, búsqueda más lenta, mejor calidad.
• Cuantización: Reduce el tamaño de los vectores con mínima pérdida de calidad.

Para la mayoría de los sistemas RAG locales, entre 768 y 1024 dimensiones son suficientes.

Trampas comunes con modelos de embedding

• Idioma incorrecto: Los modelos en inglés funcionan mal con alemán.
• Fragmentos demasiado pequeños: Se pierde el contexto, los embeddings se vuelven imprecisos.
• Métrica incorrecta: La similitud del coseno es estándar, pero no siempre es óptima.
• Sin reranking: Los primeros resultados son buenos, pero el reranking mejora específicamente.
• Pasaje vs. Consulta: Algunos modelos requieren prompts diferentes para preguntas y textos.
• Licencia: No todos los modelos se pueden usar comercialmente.

Enlaces e información adicional

• BotServ.de RAG local
• BotServ.de Bases de datos vectoriales
• BotServ.de Reranking
• Sentence Transformers
• MTEB Benchmark

Preguntas frecuentes: Modelos de embedding

¿Cuál es la diferencia con un LLM? Un LLM genera texto, un modelo de embedding genera vectores.

¿Qué tamaño debería tener un modelo de embedding? Para la mayoría de los casos, entre 768 y 1024 dimensiones son suficientes. Más grande es raramente necesario.

¿Puedo generar embeddings en la CPU? Sí, especialmente con modelos más pequeños funciona bien.

¿Qué familia de modelos es recomendable? BGE, E5, GTE y nomic-embed-text son buenos puntos de partida.

¿Es posible hacer embeddings de imágenes? Sí, con modelos multimodales como CLIP.

¿Cuánto tiempo tarda la indexación de muchos documentos? Según el modelo y hardware, desde algunos minutos hasta horas. Con GPU mucho más rápido.

Fuentes y lecturas adicionales

• Sentence Transformers: https://www.sbert.net/
• MTEB: https://huggingface.co/spaces/mteb/leaderboard
• BGE: https://huggingface.co/BAAI
• nomic-embed-text: https://huggingface.co/nomic-ai/nomic-embed-text-v1.5

Resumen: Modelos de embedding para IA local

Los modelos de embedding son la base de la búsqueda semántica y RAG. Transforman texto en vectores y permiten búsqueda basada en significado. Los modelos multilingües como BGE, nomic-embed-text o E5 son adecuados para aplicaciones en alemán. Lo importante es el idioma, la dimensión, el chunking y la base de datos vectorial apropiada. Elegir el modelo correcto sienta las bases para buenos resultados en RAG.