El mejor modelo que puede ejecutar tu hardware

Memoria = pesos (parámetros × bytes por peso con la precisión elegida) + caché de contexto (calculada a partir de la arquitectura real de cada modelo en Hugging Face: capas, cabezas de atención, ventanas deslizantes) + unos 0.6 GB por tarjeta para el entorno de ejecución. Los modelos de imagen y de vídeo reciben 3 GB más para los codificadores de texto y los decodificadores.

Velocidad: escribir un token lee una vez los pesos activos y la caché, así que tokens por segundo ≈ ancho de banda de memoria × 78 % ÷ datos leídos, más un coste fijo por cada token (unos 1 ms; 2.8 ms en los modelos de mezcla de expertos, que además eligen a sus expertos; más en Apple). Los modelos de mezcla de expertos leen solo sus expertos activos. Con varias tarjetas (llama.cpp y Ollama reparten las capas entre ellas), la velocidad se queda cerca de la de una sola tarjeta; con pesos en la RAM del sistema, la parte que está en RAM es mucho más lenta. La fórmula está calibrada con 44 pruebas reales de llama.cpp (lista con fuentes): error típico de unos ±10 %, en algunos casos hasta ±40 %.

Apple, AMD Ryzen AI Max y DGX Spark comparten la memoria con el sistema: contamos el 75 %.