Sí, podés correr un modelo MoE de 2 billones de parámetros en una workstation sin GPU dedicada: cargás solo los expertos activos en RAM y streameás el resto desde NVMe bajo demanda. Esta guía explica cómo funciona el offloading de expertos, qué SSD y RAM necesitás, cómo la cuantización 4-bit lo hace viable, latencia real con llama.cpp, y los tradeoffs honestos frente a una API.

Cómo ejecutar modelos de 2 billones de parámetros sin GPU

Cuánta RAM necesitás para correr un LLM local en 2026 depende de tres variables: tamaño del modelo, cuantización (Q4_K_M, Q5, Q8, FP16) y longitud de contexto (KV cache). Esta guía cubre la fórmula memoria ≈ params × bytes + KV cache + overhead, configuraciones concretas para 8, 16, 32 y 64 GB, y qué cambia si usás GPU discreta, memoria unificada de Apple Silicon, o almacenamiento como respaldo.

Artículos sobre cuantización

Cómo ejecutar modelos de 2 billones de parámetros sin GPU

Cuánta RAM necesitas para correr IA local en 2026: la guía honesta para 8, 16, 32 y 64 GB