Vota en Free Arena

Todos los modelos › microsoft

Aion-1.0-Instruct-2.3B

microsoft · released 18 Nov 2026

Descargar Nuevo · esperando votos de Arena
Puntuación de Arena—Aún sin votos en Arena
Tamaño2.3 Bparámetros
Descarga a 4 bits1.4 GBsolo los pesos, Q4_K_M
Contexto máximo32Ktokens, según la configuración del modelo

Dónde usarlo gratis

  • Ejecútalo en un solo comando con whichllm (gratis, código abierto): uvx whichllm@latest plan "Aion-1.0-Instruct-2.3B" muestra la GPU que necesitas, uvx whichllm@latest run "Aion-1.0-Instruct-2.3B gguf" la descarga y comienza un chat
  • Descárgalo y ejecútalo en casa: pesos oficiales · archivos GGUF para Ollama y LM Studio

Nuevo: esperando votos de Arena

Released on 18 Nov 2026. Arena has not voted on this model yet. As soon as it does, the model moves into the ranking automatically, usually the next night. Until then you can still check its size, memory needs and speed below.

Velocidad en hardware popular

HardwareMemoria de GPU¿Cabe?Velocidad
RTX 3060 12 GB12 GBCabe en la GPU101 tok/s
RTX 4060 Ti 16 GB16 GBCabe en la GPU82 tok/s
RTX 309024 GBCabe en la GPU225 tok/s
RTX 409024 GBCabe en la GPU239 tok/s
RTX 509032 GBCabe en la GPU358 tok/s
RX 7900 XTX24 GBCabe en la GPU230 tok/s
2 × RTX 309048 GBCabe en la GPU219 tok/s
4 × RTX 309096 GBCabe en la GPU207 tok/s
Mac M4 Max 128 GB96 GBCabe en la GPU106 tok/s
Ryzen AI Max+ 395 128 GB96 GBCabe en la GPU74 tok/s
8 × H100 SXM640 GBCabe en la GPU422 tok/s

Estimación a 4 bits con contexto de 32K y 64 GB de DDR5 para el volcado a RAM. Velocidad ≈ ancho de banda de memoria × 78 % ÷ datos leídos por token, más un coste fijo por token, calibrada con 44 pruebas reales de llama.cpp; error típico de unos ±10 %. Compara todas las GPU.

Memoria de GPU necesaria

NivelContexto de 8KContexto de 32KCalidad frente al modelo completo
Q3_K_M2.2 GB2.9 GB+10.5 % pérdida notable
Q4_K_M2.4 GB3.1 GB+2.8 % pérdida pequeña
Q5_K_M2.6 GB3.4 GB+0.9 % pérdida muy pequeña
Q6_K2.9 GB3.6 GB+0.3 % casi sin pérdida
Q8_03.5 GB4.2 GB≈ 0 % igual que el completo
F165.6 GB6.3 GB≈ 0 % igual que el completo

Pesos + caché de contexto (según la arquitectura del modelo) + entorno de ejecución. Calidad: aumento de perplexity respecto al modelo completo, según pruebas de llama.cpp, ajustado al tamaño del modelo. Simula tu propia configuración.

Comparte esta página:XLinkedInRedditWhatsApp

Pulsa / o Ctrl+K para buscar desde cualquier página.