Vota in Free Arena

Tutti i modelli › allenai

Bolmo-1B-Stage1

allenai · uscito il 26 ago 2026

Download Novità · in attesa dei voti su Arena
Punteggio Arena—Non ancora votato su Arena
Dimensione1.5 Bparametri
Download a 4 bit0.9 GBsolo pesi, Q4_K_M
Contesto massimo4Ktoken, dalla configurazione del modello

Dove usarlo gratis

Novità: in attesa dei voti su Arena

Uscito il 26 ago 2026. Arena non ha ancora votato questo modello. Appena lo farà, il modello entrerà in classifica in automatico, di solito la notte dopo. Nel frattempo puoi già vedere qui sotto dimensioni, memoria necessaria e velocità.

Velocità sull'hardware più diffuso

HardwareMemoria GPUCi sta?Velocità
RTX 3060 12 GB12 GBEntra nella GPU51 tok/s
RTX 4060 Ti 16 GB16 GBEntra nella GPU41 tok/s
RTX 309024 GBEntra nella GPU123 tok/s
RTX 409024 GBEntra nella GPU131 tok/s
RTX 509032 GBEntra nella GPU212 tok/s
RX 7900 XTX24 GBEntra nella GPU126 tok/s
2 × RTX 309048 GBEntra nella GPU119 tok/s
4 × RTX 309096 GBEntra nella GPU113 tok/s
Mac M4 Max 128 GB96 GBEntra nella GPU64 tok/s
Ryzen AI Max+ 395 128 GB96 GBEntra nella GPU37 tok/s
8 × H100 SXM640 GBEntra nella GPU276 tok/s

Stima a 4 bit con contesto da 32K e 64 GB di DDR5 per lo scarico in RAM. Velocità ≈ banda di memoria × 78% ÷ dati letti per token, più un costo fisso per token, calibrata su 44 test reali con llama.cpp; errore tipico di circa ±10%. Confronta tutte le GPU.

Memoria GPU necessaria

LivelloQualità rispetto al modello completo
Q3_K_M+10.5% perdita evidente
Q4_K_M+2.8% piccola perdita
Q5_K_M+0.9% perdita minima
Q6_K+0.3% quasi senza perdita
Q8_0≈ 0% uguale al completo
F16≈ 0% uguale al completo

Pesi + cache del contesto (dall'architettura del modello) + runtime. Qualità: aumento di perplexity rispetto al modello completo, dai test con llama.cpp, scalato in base alla dimensione del modello. Simula la tua configurazione.

Condividi questa pagina:XLinkedInRedditWhatsApp