Calculadora de VRAM para IA local

Qué cubre este artículo sobre la calculadora de VRAM

• Cuánta VRAM necesita un modelo para cargarse e inferencia.
• Qué factores influyen en el consumo de VRAM.
• Cómo funcionan juntos la cuantización y la longitud del contexto.
• Fórmulas prácticas y ejemplos.

Introducción: calcular VRAM para IA local

Si quieres ejecutar modelos de lenguaje en tu tarjeta gráfica, necesitas saber cuánta memoria de video requieren. Poco VRAM impide cargar el modelo o lo hace muy lento. Demasiado VRAM no es problema, pero es caro. Una calculadora de VRAM ayuda a estimar el consumo antes de adquirir o configurar hardware.

El VRAM suele ser más limitado que la RAM cuando usas GPU offloading. Los modelos grandes y contextos largos llenan la memoria de gráficos rápidamente.

¿Por qué necesito una calculadora de VRAM?

Sin un cálculo aproximado, no sabes si tu tarjeta gráfica puede cargar un modelo específico. La calculadora considera el tamaño del modelo, la cuantización, la longitud del contexto y el overhead. Así evitas intentos decepcionantes y compras erróneas costosas.

El consumo de VRAM explicado brevemente

El consumo de VRAM se compone de varios componentes:

• Pesos del modelo: los parámetros almacenados, entre 1 y 4 bytes por parámetro dependiendo de la cuantización.
• Cache KV: búfer para tokens ya procesados.
• Activaciones: valores temporales durante el cálculo.
• Overhead: memoria reservada para librerías y drivers.

La fórmula básica es: tamaño del modelo en mil millones de parámetros multiplicado por bytes por parámetro da aproximadamente el consumo de memoria. A esto se suma el cache y el overhead.

¿Para quién está diseñada la calculadora de VRAM?

• Para compradores que consideran si una GPU es suficiente para un modelo específico.
• Para principiantes que quieren entender por qué un modelo no se carga.
• Para usuarios que quieren ejecutar modelos con cuantización.
• Para desarrolladores que necesitan elegir el modelo correcto para su hardware.

Términos clave sobre VRAM

• VRAM: memoria de video de la tarjeta gráfica.
• Parámetros: valores individuales en un modelo de IA.
• Cuantización: reducción de precisión por parámetro.
• Cache KV: memoria para pares clave-valor en generación de texto.
• Batch Size: número de solicitudes procesadas simultáneamente.
• Context Length: número de tokens que el modelo puede considerar.

Ejemplos prácticos de cálculo de VRAM

Modelo 7B en formato Q4

• Parámetros: 7 mil millones
• Bytes por parámetro: aproximadamente 0,5 en Q4
• Pesos del modelo: aproximadamente 3,5 GB
• Cache KV y overhead: aproximadamente 1,5 a 2 GB
• VRAM recomendada: 6 a 8 GB

Modelo 13B en formato Q8

• Parámetros: 13 mil millones
• Bytes por parámetro: aproximadamente 1,0
• Pesos del modelo: aproximadamente 13 GB
• Cache KV y overhead: aproximadamente 3 a 4 GB
• VRAM recomendada: 18 a 20 GB

Modelo 70B en formato Q4

• Parámetros: 70 mil millones
• Bytes por parámetro: aproximadamente 0,5
• Pesos del modelo: aproximadamente 35 GB
• Cache KV y overhead: aproximadamente 8 a 10 GB
• VRAM recomendada: 48 GB o más

Obstáculos típicos en la planificación de VRAM

• Considerar solo el tamaño del modelo: el cache KV y el overhead pueden requerir varios gigabytes.
• Olvidar la longitud del contexto: contextos largos aumentan significativamente el cache.
• Sobrestimar el batch size: más solicitudes paralelas necesitan más memoria.
• Malentender la cuantización: Q4 es pequeño, pero no todos los modelos ofrecen todos los niveles de calidad.
• VRAM compartida: con múltiples modelos o servicios, los requisitos se suman.

Enlaces y recursos adicionales sobre la calculadora de VRAM

• Calculadora de RAM de BotServ.de
• Hardware de IA de BotServ.de
• Cuantización de BotServ.de
• Documentación de Ollama

Preguntas frecuentes: calculadora de VRAM

¿Cuánta VRAM necesito para Ollama? Depende del modelo. Un modelo 7B en formato Q4 funciona con 6 a 8 GB, un modelo 13B en Q8 requiere aproximadamente 18 a 20 GB.

¿Qué pasa si no hay suficiente VRAM? El modelo se vuelve más lento, se traslada a la RAM o directamente no se carga.

¿Es VRAM más importante que la frecuencia de la GPU? Para modelos de lenguaje grandes, VRAM suele ser más importante. Para generación de imágenes, ambos son factores decisivos.

¿Puedo ahorrar VRAM cuantizando el modelo? Sí. Q4 reduce el consumo de memoria aproximadamente a la mitad comparado con F16.

¿Debería comprar una GPU con más VRAM de la que actualmente necesito? Un pequeño búfer tiene sentido, ya que los modelos crecen y contextos más largos requieren más memoria.

Fuentes y lecturas adicionales

• Ollama: https://ollama.com/
• llama.cpp: https://github.com/ggerganov/llama.cpp
• Modelos de Hugging Face: https://huggingface.co/models

Resumen: calculadora de VRAM para IA local

El consumo de VRAM depende del tamaño del modelo, la cuantización, la longitud del contexto y el overhead. Las fórmulas aproximadas ayudan a estimar el consumo. Para modelos pequeños bastan 8 GB, para modelos más grandes en Q8 es preferible 20 GB o más. Verificar el consumo antes de comprar evita adquisiciones costosas y rendimiento decepcionante.