Calculadora de cuantización para modelos de IA
Qué cubre este artículo sobre la calculadora de cuantización
- Cómo calcular los requisitos de memoria de modelos cuantizados.
- Cómo Q4, Q8 y F16 afectan el tamaño y la calidad.
- Cómo la cuantización ahorra VRAM y RAM.
- Cálculos prácticos y reglas de estimación.
Introducción: Calculadora de cuantización para modelos de IA
Los modelos de lenguaje están disponibles en diferentes cuantizaciones. Cuanto menor sea la profundidad de bits, más pequeño será el modelo. La cuantización reduce los requisitos de memoria, pero puede afectar ligeramente la calidad. Una calculadora de cuantización te muestra qué modelo se ajusta a tu hardware.
Quien comprenda cómo se combinan el número de parámetros y los bits por parámetro puede estimar rápidamente si un modelo cabe en CPU, GPU o RAM. Esto evita intentos frustrantes y compras costosas fallidas.
¿Por qué necesito una calculadora de cuantización?
Sin cálculos, no está claro por qué un modelo de 13B a veces requiere 5 GB y otras veces 26 GB de memoria. La diferencia está en la cuantización. Cuando conoces los requisitos de memoria, puedes seleccionar modelos apropiados y dimensionar el hardware correctamente. La calculadora también ayuda a sopesar las ventajas y desventajas de diferentes formatos.
La calculadora de cuantización explicada brevemente
La fórmula básica es simple:
Requisitos de memoria = Parámetros × Bits por parámetro / 8El resultado se calcula en bytes. Dividiendo entre 8 obtienes los bytes por parámetro. Después conviertes a gigabytes.
Valores típicos:
- Q4: aproximadamente 4,5 bits por parámetro, es decir, alrededor de 0,56 bytes
- Q5: aproximadamente 5,5 bits por parámetro, es decir, alrededor de 0,69 bytes
- Q6: aproximadamente 6,5 bits por parámetro, es decir, alrededor de 0,81 bytes
- Q8: 8 bits por parámetro, es decir, 1 byte
- F16: 16 bits por parámetro, es decir, 2 bytes
Además del modelo en sí, debes considerar el KV-Cache y el overhead. Para la operación, deberías reservar al menos un 20 a 30 por ciento de amortiguador.
¿Para quién es la calculadora de cuantización?
- Para usuarios que quieren elegir modelos que se adapten a su hardware.
- Para principiantes que desean comprender la cuantización.
- Para desarrolladores que necesitan calcular requisitos de memoria.
- Para todos los que quieren trabajar eficientemente con RAM o VRAM limitado.
Términos importantes sobre cuantización
- Parámetros: Pesos individuales en el modelo de IA.
- Bits por parámetro: Precisión con la que se almacena un peso.
- GGUF: Formato para modelos cuantizados.
- KV-Cache: Memoria para pares clave-valor durante la inferencia.
- Overhead: Memoria adicional de frameworks y bibliotecas.
- Q4_K_M: Variante específica de Q4 con mejor precisión.
Ejemplos prácticos para la calculadora de cuantización
Modelo de 7B en formato Q4
- Parámetros: 7 mil millones
- Bits por parámetro: 4,5
- Cálculo: 7.000.000.000 × 4,5 / 8 / 1.000.000.000
- Tamaño del modelo: aproximadamente 3,9 GB
- Plus cache y overhead: aproximadamente 1,5 GB
- Recomendado: 6 a 8 GB RAM/VRAM
Modelo de 13B en formato Q8
- Parámetros: 13 mil millones
- Bits por parámetro: 8
- Tamaño del modelo: 13 GB
- Plus cache y overhead: aproximadamente 4 GB
- Recomendado: 18 a 20 GB RAM/VRAM
Modelo de 70B en formato F16
- Parámetros: 70 mil millones
- Bits por parámetro: 16
- Tamaño del modelo: 140 GB
- Plus cache y overhead: aproximadamente 20 GB
- Recomendado: 160 GB o más
Errores comunes en la cuantización
- Solo considerar el tamaño del modelo: Se olvidan el cache y el overhead.
- Siempre usar F16: F16 es grande y no siempre es necesario.
- Q4 para todo: Con consultas complejas o precisas, Q4 produce resultados peores.
- Olvidar la base de datos de vectores: Los sistemas RAG necesitan RAM adicional.
- Confundir unidades: Mezclar bits, bytes y gigabytes.
Enlaces e información adicional
FAQ: Calculadora de cuantización
¿Cuánta memoria ahorra Q4 respecto a F16? Q4 reduce el requisito a aproximadamente una cuarta a una tercera parte comparado con F16.
¿Es Q4 suficiente para chatbots? Para preguntas simples y respuestas rápidas generalmente sí. Para respuestas complejas y matizadas, mejor Q6 o Q8.
¿Qué tan precisa es la fórmula? Proporciona una buena estimación. El requisito real varía ligeramente según el formato del modelo y el framework.
¿Debería siempre usar el modelo más pequeño? No. Usa el modelo más pequeño que aún produzca resultados útiles para tu tarea.
¿Qué pasa con el KV-Cache? El cache crece con la longitud del contexto. Los textos largos requieren significativamente más memoria.
Fuentes y referencias
- llama.cpp Cuantización: https://github.com/ggerganov/llama.cpp/tree/master/examples/quantize
- Biblioteca de modelos Ollama: https://ollama.com/library
- TheBloke en Hugging Face: https://huggingface.co/TheBloke
Resumen: Calculadora de cuantización para modelos de IA
La calculadora de cuantización ayuda a estimar los requisitos de memoria de un modelo. Parámetros multiplicados por bits por parámetro da el tamaño aproximado del modelo. Añade el cache y el overhead. Q4 es pequeño y rápido, Q8 y F16 ofrecen mejor calidad. Quien entienda la fórmula puede seleccionar modelos específicamente para su hardware.