Vota in Free Arena

Tutti i modelli › nvidia

NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16

nvidia · uscito il 12 ott 2026

API gratis Chat del laboratorio Download Novità · in attesa dei voti su Arena
Punteggio Arena—Non ancora votato su Arena
Dimensione124.5 B12 B attivi per token (mixture of experts)
Download a 4 bit75 GBsolo pesi, Q4_K_M
Contesto massimo1024Ktoken, dalla configurazione del modello

Dove usarlo gratis

Novità: in attesa dei voti su Arena

Uscito il 12 ott 2026. Arena non ha ancora votato questo modello. Appena lo farà, il modello entrerà in classifica in automatico, di solito la notte dopo. Nel frattempo puoi già vedere qui sotto dimensioni, memoria necessaria e velocità, e provarlo gratis.

Velocità sull'hardware più diffuso

HardwareMemoria GPUCi sta?Velocità
RTX 3060 12 GB12 GBNon entra—
RTX 4060 Ti 16 GB16 GBNon entra—
RTX 309024 GBNon entra—
RTX 409024 GBNon entra—
RTX 509032 GBGPU + 64 GB di RAM16 tok/s
RX 7900 XTX24 GBNon entra—
2 × RTX 309048 GBGPU + 64 GB di RAM21 tok/s
4 × RTX 309096 GBEntra nella GPU70 tok/s
Mac M4 Max 128 GB96 GBEntra nella GPU41 tok/s
Ryzen AI Max+ 395 128 GB96 GBEntra nella GPU25 tok/s
8 × H100 SXM640 GBEntra nella GPU145 tok/s

Stima a 4 bit con contesto da 32K e 64 GB di DDR5 per lo scarico in RAM. Velocità ≈ banda di memoria × 78% ÷ dati letti per token, più un costo fisso per token, calibrata su 44 test reali con llama.cpp; errore tipico di circa ±10%. Confronta tutte le GPU.

Memoria GPU necessaria

LivelloContesto da 8KContesto da 32KContesto da 128KQualità rispetto al modello completo
Q3_K_M63 GB63 GB64 GB+4.7% perdita evidente
Q4_K_M76 GB76 GB77 GB+1.2% perdita minima
Q5_K_M89 GB89 GB90 GB+0.4% quasi senza perdita
Q6_K103 GB103 GB104 GB+0.2% quasi senza perdita
Q8_0133 GB133 GB134 GB≈ 0% uguale al completo
F16250 GB250 GB251 GB≈ 0% uguale al completo

Pesi + cache del contesto (dall'architettura del modello) + runtime. Qualità: aumento di perplexity rispetto al modello completo, dai test con llama.cpp, scalato in base alla dimensione del modello. Simula la tua configurazione.

Condividi questa pagina:XLinkedInRedditWhatsApp