Tutti i modelli › ByteDance-Seed
Cola2
ByteDance-Seed · released 6 Nov 2026
Dove usarlo gratis
- Eseguilo in un comando con whichllm (gratis, open source):
uvx whichllm@latest plan "Cola2"mostra la GPU necessaria,uvx whichllm@latest run "Cola2 gguf"la scarica e avvia una chat - Scaricalo e usalo a casa: pesi ufficiali · file GGUF per Ollama e LM Studio
Novità: in attesa dei voti su Arena
Released on 6 Nov 2026. Arena has not voted on this model yet. As soon as it does, the model moves into the ranking automatically, usually the next night. Until then you can still check its size, memory needs and speed below.
Velocità sull'hardware più diffuso
| Hardware | Memoria GPU | Ci sta? | Velocità |
|---|---|---|---|
| RTX 3060 12 GB | 12 GB | Entra nella GPU | 41 tok/s |
| RTX 4060 Ti 16 GB | 16 GB | Entra nella GPU | 33 tok/s |
| RTX 3090 | 24 GB | Entra nella GPU | 101 tok/s |
| RTX 4090 | 24 GB | Entra nella GPU | 108 tok/s |
| RTX 5090 | 32 GB | Entra nella GPU | 177 tok/s |
| RX 7900 XTX | 24 GB | Entra nella GPU | 103 tok/s |
| 2 × RTX 3090 | 48 GB | Entra nella GPU | 98 tok/s |
| 4 × RTX 3090 | 96 GB | Entra nella GPU | 93 tok/s |
| Mac M4 Max 128 GB | 96 GB | Entra nella GPU | 53 tok/s |
| Ryzen AI Max+ 395 128 GB | 96 GB | Entra nella GPU | 30 tok/s |
| 8 × H100 SXM | 640 GB | Entra nella GPU | 237 tok/s |
Stima a 4 bit con contesto da 32K e 64 GB di DDR5 per lo scarico in RAM. Velocità ≈ banda di memoria × 78% ÷ dati letti per token, più un costo fisso per token, calibrata su 44 test reali con llama.cpp; errore tipico di circa ±10%. Confronta tutte le GPU.
Memoria GPU necessaria
| Livello | Contesto da 8K | Contesto da 32K | Contesto da 128K | Qualità rispetto al modello completo |
|---|---|---|---|---|
| Q3_K_M | 5.3 GB | 6.2 GB | 9.6 GB | +10.2% perdita evidente |
| Q4_K_M | 6.2 GB | 7.1 GB | 11 GB | +2.7% piccola perdita |
| Q5_K_M | 7.1 GB | 8.0 GB | 11 GB | +0.9% perdita minima |
| Q6_K | 8.1 GB | 9.0 GB | 12 GB | +0.3% quasi senza perdita |
| Q8_0 | 10 GB | 11 GB | 15 GB | ≈ 0% uguale al completo |
| F16 | 18 GB | 19 GB | 23 GB | ≈ 0% uguale al completo |
Pesi + cache del contesto (dall'architettura del modello) + runtime. Qualità: aumento di perplexity rispetto al modello completo, dai test con llama.cpp, scalato in base alla dimensione del modello. Simula la tua configurazione.
Condividi questa pagina:XLinkedInRedditWhatsApp
Hai visto un numero sbagliato o un link rotto? Segnala un errore