Vota en Free Arena
ES

Todos los modelos › nvidia

NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16

nvidia · lanzado el 9 oct 2026

Chat del laboratorio Descargar Nuevo · esperando votos de Arena
Puntuación de Arena—Aún sin votos en Arena
Tamaño74.9 B9 B activos por token (mezcla de expertos)
Descarga a 4 bits45 GBsolo los pesos, Q4_K_M
Contexto máximo256Ktokens, según la configuración del modelo

Dónde usarlo gratis

Nuevo: esperando votos de Arena

Lanzado el 9 oct 2026. Arena aún no ha votado este modelo. En cuanto lo haga, el modelo pasará a la clasificación automáticamente, normalmente la noche siguiente. Mientras tanto, puedes consultar abajo su tamaño, la memoria que necesita y su velocidad.

Velocidad en hardware popular

HardwareMemoria de GPU¿Cabe?Velocidad
RTX 3060 12 GB12 GBGPU + 64 GB de RAM16 tok/s
RTX 4060 Ti 16 GB16 GBGPU + 64 GB de RAM17 tok/s
RTX 309024 GBGPU + 64 GB de RAM24 tok/s
RTX 409024 GBGPU + 64 GB de RAM24 tok/s
RTX 509032 GBGPU + 64 GB de RAM36 tok/s
RX 7900 XTX24 GBGPU + 64 GB de RAM24 tok/s
2 × RTX 309048 GBCabe en la GPU91 tok/s
4 × RTX 309096 GBCabe en la GPU86 tok/s
Mac M4 Max 128 GB96 GBCabe en la GPU50 tok/s
Ryzen AI Max+ 395 128 GB96 GBCabe en la GPU32 tok/s
8 × H100 SXM640 GBCabe en la GPU166 tok/s

Estimación a 4 bits con contexto de 32K y 64 GB de DDR5 para el volcado a RAM. Velocidad ≈ ancho de banda de memoria × 78 % ÷ datos leídos por token, más un coste fijo por token, calibrada con 44 pruebas reales de llama.cpp; error típico de unos ±10 %. Compara todas las GPU.

Memoria de GPU necesaria

NivelContexto de 8KContexto de 32KContexto de 128KCalidad frente al modelo completo
Q3_K_M38 GB38 GB39 GB+4.7 % pérdida notable
Q4_K_M46 GB46 GB47 GB+1.2 % pérdida muy pequeña
Q5_K_M54 GB54 GB55 GB+0.4 % casi sin pérdida
Q6_K62 GB62 GB63 GB+0.2 % casi sin pérdida
Q8_080 GB80 GB81 GB≈ 0 % igual que el completo
F16150 GB151 GB151 GB≈ 0 % igual que el completo

Pesos + caché de contexto (según la arquitectura del modelo) + entorno de ejecución. Calidad: aumento de perplexity respecto al modelo completo, según pruebas de llama.cpp, ajustado al tamaño del modelo. Simula tu propia configuración.

Comparte esta página:XLinkedInRedditWhatsApp