¿Cuánta VRAM necesito para un LLM local?
Última actualización
La VRAM que necesitas depende del tamaño del modelo. A 4 bits, calcula unos 0,5-0,6 GB por cada mil millones de parámetros más unos GB de contexto. Eso da unos 9 GB para 14B, 19-20 GB para 32B y 40 GB para 70B (aproximado).
Olares One → Local LLM server → vLLM · Ollama · OpenAI-compatible API → Your models, served on your network
¿Cuánta VRAM necesito para un LLM local?
La VRAM que necesitas para un LLM local depende del tamaño del modelo y de la precisión. Con nuestra regla aproximada, a 4 bits un modelo pide unos 0,5-0,6 GB por cada mil millones de parámetros, más unos pocos GB para el contexto. Con 24 GB caben modelos de hasta unos 32B.
| Tamaño | Memoria aproximada a 4 bits | ¿Cabe en 24 GB? |
|---|---|---|
| 8B | ~5 GB | Sí, con mucho margen |
| 14B | ~9 GB | Sí |
| 32B | ~19-20 GB | Sí, con poco margen para contexto |
| 70B | ~40 GB | No |
| 120B | ~65 GB | No |
¿Qué más ocupa memoria aparte del modelo?
Aparte del modelo, ocupa memoria la caché KV, que guarda el contexto de cada conversación. Crece con la longitud del texto y con el número de usuarios a la vez. En una GPU de 24 GB con un modelo de 32B a 4 bits quedan pocos GB libres, así que hay que elegir entre contexto largo y muchos usuarios.
A 8 bits, cada peso ocupa el doble que a 4 bits, y la memoria necesaria se duplica más o menos.
¿Qué equipo encaja en cada nivel de memoria?
En 24 GB están Olares One (4.999 USD, completo) y una torre con RTX 3090 usada, que una guía estima en unos 3.800 USD. En 32 GB, la RTX 5090 de sobremesa, a 1.999 USD solo la tarjeta. Por encima, equipos de memoria unificada de 64 a 512 GB, con precios leídos el 12 de noviembre de 2026.
Ahí están el Mac mini M5 Pro (64 GB), la DGX Spark y la ASUS Ascent GX10 (128 GB), los mini PC con Ryzen AI Max+ 395 (128 GB, de los que la GPU usa solo una parte) y el Mac Studio M5 Ultra (hasta 512 GB).
¿Bastan 24 GB para la mayoría?
Sí, en nuestra opinión 24 GB bastan para la mayoría, porque cubren cualquier modelo de hasta unos 32B a 4 bits. Cambiaríamos de opinión si tu modelo principal es un 70B denso, que pide unos 40 GB. En Olares One, Qwen3-30B-A3B alcanzó 157 tokens por segundo con una petición en vLLM, según la prueba propia de Olares.
Los modelos más grandes pueden desbordarse a sus 96 GB de RAM, y Olares mide unos 36 tokens por segundo con gpt-oss-120b así. Para elegir equipo, consulta el mejor PC para IA local, y para compartirlo, servidor LLM local.
Preguntas y respuestas
¿Bastan 24 GB de VRAM para un modelo de 32B?
A 4 bits, sí, con poco margen para contexto. Para 70B no.
¿La RAM del sistema cuenta como VRAM?
No. Algunos motores pueden poner parte del modelo en la RAM, pero esa parte va mucho más lenta. En Mac y en DGX Spark la GPU usa directamente la memoria unificada.
Fuentes
- Olares One FAQ (Olares docs) (Company-published)
- Olares blog: local AI hardware benchmarking (Oct 2025) (Company-published)
- Olares One: maker's page (Maker-published)
- Used RTX 3090 tower build: maker's page (Maker-published)
- NVIDIA GeForce RTX 5090 (desktop card): maker's page (Maker-published)
- NVIDIA DGX Spark: maker's page (Maker-published)
- Apple Mac mini (M5 Pro, 64GB): maker's page (Maker-published)
- Apple Mac Studio (M5 Ultra): maker's page (Maker-published)
Seguir leyendo
How the related websites connect
Citar
Local LLM Server. “¿Cuánta VRAM necesito para un LLM local?.” Contenido revisado el 13 de noviembre de 2026.
https://localllmserver.com/es/cuanta-vram-necesito/