Can NVIDIA Blackwell B200 192GB (192GB) run Mixtral-8x22B-Instruct (MoE)?

NVIDIA Blackwell B200 192GB (192GB) fits Mixtral-8x22B-Instruct (MoE) smoothly in FP8 (W8A8 / E4M3). Unquantized FP16 (264.58 GB) exceeds 192 GB, but 4-bit Q4_K_M requires 81.38 GB (42% VRAM utilization) at ~232.9 tokens/sec.

How much VRAM does Mixtral-8x22B-Instruct (MoE) require in Q4_K_M, FP8, and FP16?

At 8,192 context length, Mixtral-8x22B-Instruct (MoE) requires 81.38 GB in GGUF Q4_K_M, 137.74 GB in FP8, and 264.58 GB in FP16.

✅ CABE EN VRAM (FP8 (W8A8 / E4M3))

Mixtral-8x22B-Instruct (MoE) on NVIDIA Blackwell B200 192GB (192GB VRAM)

Unquantized FP16 (264.58 GB) exceeds 192 GB, but 4-bit Q4_K_M requires 81.38 GB (42% VRAM utilization) at ~232.9 tokens/sec.

🎛️ Ajustador Interactivo de VRAM, Contexto y Offload

Formato de Cuantización (Bits por Peso Reales)

Motor de Inferencia

Ventana de Contexto (Tokens) 8,192 tokens

Tamaño de Lote Concurrente (Batch Size) 1

Precisión de KV Cache

Número de GPUs (Paralelismo Tensorial)

Offload a RAM del Sistema (% en CPU) 0% (100% GPU)

📊 Telemetría de Memoria y Rendimiento en Tiempo Real

81.38 GB / 192 GB

🟦 Pesos del Modelo: 79.14 GB 🟪 Caché KV: 1.75 GB 🟨 Buffer del Motor: 0.49 GB

VRAM de GPU Requerida81.38 GB

RAM de Sistema Requerida (CPU)0.00 GB

VRAM Disponible en Hardware192 GB (1x NVIDIA Blackwell B200 192GB)

Margen / Déficit de VRAM110.62 GB

Velocidad de Generación (Decode)~232.9 tokens/sec

Velocidad de Procesamiento (Prefill)~14962 tokens/sec

Tiempo al Primer Token (Prompt 4K)~274 ms

Topología TransformerMoE-GQA (56L, 8/48 KV/Q heads)

🚀 Comando de Lanzamiento Listo para Copiar

ollama run mixtral:8x22b
# Or llama.cpp server (8K context, Flash Attention):
llama-server -hf mistralai/Mixtral-8x22B-Instruct-v0.1-GGUF -c 8192 -ngl 99 -fa

COMPARADOR CLOUD GPU Y CALCULADORA ALQUILAR VS COMPRAR

¿No tienes suficiente VRAM? Alquila una GPU en la nube en 60 segundos (Mixtral-8x22B-Instruct (MoE): 81.38 GB in 4-bit)

Recommended Cloud Tier: Multi-GPU H100 / H200 Node · Full FP16 Needs: 264.58 GB

Horas de uso estimadas al día: 4 hrs/day

Meses para amortizar compra vs alquiler: ~32 months (vs $42,000 hardware)

Cloud Provider	RTX 4090 (24GB)	A100 (80GB)	H100 (80GB)	Est. Monthly Cost (4h/day)	Free Credit / Trial	Deploy
RunPod	$0.44 / hr	$1.39 / hr	$2.39 / hr	$52.80 / mo	Instant PyTorch / vLLM Templates + Serverless GPU	Desplegar en RunPod →
Vast.ai	$0.29 / hr	$0.95 / hr	$1.79 / hr	$34.80 / mo	Save 50–70% on RTX 4090 / 5090 / A100 rentals	Alquilar GPU Spot →
Vultr Cloud GPU	—	$1.79 / hr	$2.69 / hr	$214.80 / mo (A100)	$300 Free Credit	Reclamar $300 Gratis →
DigitalOcean GPU	—	—	$2.99 / hr	$358.80 / mo (H100)	$200 Free Credit (60d)	Obtener $200 Gratis →

Desglose Completo por Formato de Cuantización: Mixtral-8x22B-Instruct (MoE) × NVIDIA Blackwell B200 192GB

Quantization Format	Core / Emb BPW	Weights (GiB)	KV Cache (8K)	Total VRAM	1x NVIDIA Blackwell B200 192GB (192GB)	Decode / Prefill	Min GPUs
FP16 / BF16 (Unquantized)	16 / 16	261.89 GB	1.75 GB	264.13 GB	No (+72.1GB)	~2.7 / 14962 tok/s	2x
FP8 (W8A8 / E4M3)	8.25 / 8.5	135.05 GB	1.75 GB	137.29 GB	Sí (72%)	~136.3 / 14962 tok/s	1x
GGUF Q8_0 (8.50 bpw)	8.5 / 8.5	139.13 GB	1.75 GB	141.37 GB	Sí (74%)	~132.3 / 14962 tok/s	1x
GGUF Q6_K (6.56 bpw)	6.56 / 6.56	107.37 GB	1.75 GB	109.62 GB	Sí (57%)	~171.5 / 14962 tok/s	1x
GGUF Q5_K_M (5.69 bpw)	5.69 / 6.56	93.17 GB	1.75 GB	95.42 GB	Sí (50%)	~197.7 / 14962 tok/s	1x
GGUF Q4_K_M / AWQ (4.83 bpw)	4.83 / 6.56	79.14 GB	1.75 GB	81.38 GB	Sí (42%)	~232.9 / 14962 tok/s	1x
GGUF IQ4_XS (4.25 bpw)	4.25 / 5.5	69.62 GB	1.75 GB	71.87 GB	Sí (37%)	~264.7 / 14962 tok/s	1x
GGUF Q3_K_M (3.91 bpw)	3.91 / 5	64.05 GB	1.75 GB	66.29 GB	Sí (35%)	~287.7 / 14962 tok/s	1x

Probar este Modelo en Otras GPUs

Otros Modelos en esta GPU