FreeLLMTodos los modelos › ByteDance-Seed
Cola2
ByteDance-Seed · released 6 Nov 2026
Dónde usarlo gratis
- Ejecútalo en un solo comando con whichllm (gratis, código abierto):
uvx whichllm@latest plan "Cola2"muestra la GPU que necesitas,uvx whichllm@latest run "Cola2 gguf"la descarga y comienza un chat - Descárgalo y ejecútalo en casa: pesos oficiales · archivos GGUF para Ollama y LM Studio
Nuevo: esperando votos de Arena
Released on 6 Nov 2026. Arena has not voted on this model yet. As soon as it does, the model moves into the ranking automatically, usually the next night. Until then you can still check its size, memory needs and speed below.
Velocidad en hardware popular
| Hardware | Memoria de GPU | ¿Cabe? | Velocidad |
|---|---|---|---|
| RTX 3060 12 GB | 12 GB | Cabe en la GPU | 41 tok/s |
| RTX 4060 Ti 16 GB | 16 GB | Cabe en la GPU | 33 tok/s |
| RTX 3090 | 24 GB | Cabe en la GPU | 101 tok/s |
| RTX 4090 | 24 GB | Cabe en la GPU | 108 tok/s |
| RTX 5090 | 32 GB | Cabe en la GPU | 177 tok/s |
| RX 7900 XTX | 24 GB | Cabe en la GPU | 103 tok/s |
| 2 × RTX 3090 | 48 GB | Cabe en la GPU | 98 tok/s |
| 4 × RTX 3090 | 96 GB | Cabe en la GPU | 93 tok/s |
| Mac M4 Max 128 GB | 96 GB | Cabe en la GPU | 53 tok/s |
| Ryzen AI Max+ 395 128 GB | 96 GB | Cabe en la GPU | 30 tok/s |
| 8 × H100 SXM | 640 GB | Cabe en la GPU | 237 tok/s |
Estimación a 4 bits con contexto de 32K y 64 GB de DDR5 para el volcado a RAM. Velocidad ≈ ancho de banda de memoria × 78 % ÷ datos leídos por token, más un coste fijo por token, calibrada con 44 pruebas reales de llama.cpp; error típico de unos ±10 %. Compara todas las GPU.
Memoria de GPU necesaria
| Nivel | Contexto de 8K | Contexto de 32K | Contexto de 128K | Calidad frente al modelo completo |
|---|---|---|---|---|
| Q3_K_M | 5.3 GB | 6.2 GB | 9.6 GB | +10.2 % pérdida notable |
| Q4_K_M | 6.2 GB | 7.1 GB | 11 GB | +2.7 % pérdida pequeña |
| Q5_K_M | 7.1 GB | 8.0 GB | 11 GB | +0.9 % pérdida muy pequeña |
| Q6_K | 8.1 GB | 9.0 GB | 12 GB | +0.3 % casi sin pérdida |
| Q8_0 | 10 GB | 11 GB | 15 GB | ≈ 0 % igual que el completo |
| F16 | 18 GB | 19 GB | 23 GB | ≈ 0 % igual que el completo |
Pesos + caché de contexto (según la arquitectura del modelo) + entorno de ejecución. Calidad: aumento de perplexity respecto al modelo completo, según pruebas de llama.cpp, ajustado al tamaño del modelo. Simula tu propia configuración.
Comparte esta página:XLinkedInRedditWhatsApp
¿Has visto un número incorrecto o un enlace roto? Avísanos del error