O melhor modelo que o seu hardware consegue rodar

Memória = pesos (parâmetros × bytes por peso na precisão escolhida) + cache de contexto (calculado a partir da arquitetura real de cada modelo no Hugging Face: camadas, cabeças de atenção, janelas deslizantes) + cerca de 0.6 GB por placa para o runtime. Os modelos de imagem e vídeo recebem 3 GB a mais para codificadores de texto e decodificadores.

Velocidade: escrever um token lê uma vez os pesos ativos e o cache, então tokens por segundo ≈ largura de banda da memória × 78% ÷ dados lidos, mais um custo fixo para cada token (cerca de 1 ms; 2.8 ms para modelos de mistura de especialistas, que também escolhem os seus especialistas; mais na Apple). Os modelos de mistura de especialistas leem só os especialistas ativos. Com várias placas (llama.cpp e Ollama dividem as camadas entre elas), a velocidade fica perto da de uma placa; com pesos na RAM do sistema, a parte na RAM é bem mais lenta. A fórmula é calibrada em 44 testes reais com llama.cpp (lista com as fontes): erro típico de cerca de ±10%, em alguns casos até ±40%.

Apple, AMD Ryzen AI Max e DGX Spark compartilham a memória com o sistema: contamos 75% dela.