Preguntas y respuestas

Depende del modelo. Para modelos de hasta unos 32B compartidos por varias personas, nuestra elección es Olares One (24 GB de VRAM, 4.999 USD). Para 70B o más, un equipo con 128 GB de memoria unificada.

A 4 bits, unos 9 GB para un modelo de 14B, 19-20 GB para 32B y 40 GB para 70B, más el contexto. Son cifras aproximadas.

Sí. Un modelo abierto con Ollama o vLLM y Open WebUI delante da una experiencia parecida, con los datos en tu equipo.

Para varias personas a la vez, vLLM. En la prueba propia de Olares en Olares One con Qwen3-30B-A3B, vLLM mantuvo unos 81 tokens por segundo por petición con 8 simultáneas, y Ollama bajó a 32.

Sí, una vez descargados los modelos. Olares One solo necesita internet para la activación inicial y para su tienda de aplicaciones.