GPUs para IA local, comparadas

Com 4 bits, um modelo precisa de cerca de 0.6 GB por bilhão de parâmetros, mais o cache de contexto e cerca de 1 GB para o runtime. Um modelo de 8 B cabe em 8 GB, um de 27–32 B precisa de cerca de 20–24 GB, um de 70 B precisa de cerca de 45 GB (duas placas de 24 GB). A coluna “Maior modelo” faz essa conta para cada placa com contexto de 8K.

Quando um modelo escreve, cada palavra nova lê todos os pesos ativos da memória uma vez. Então a velocidade é, em linhas gerais, a largura de banda dividida pelo tamanho dos pesos ativos. É por isso que uma RTX 3090 (936 GB/s) ainda escreve mais rápido que muitas placas intermediárias mais novas.

Para LLMs locais, costuma ser o melhor custo-benefício: 24 GB e alta largura de banda. Consome muita energia (350 W) e não tem garantia quando comprada usada. Compare o preço com uma placa nova de 16 GB: 16 GB não bastam para modelos de 27–32 B com 4 bits e um contexto útil.

A NVIDIA tem o maior suporte de software (CUDA). As placas AMD funcionam bem com llama.cpp, Ollama e LM Studio (ROCm ou Vulkan) e muitas vezes dão mais memória pelo preço. Máquinas com Apple Silicon e AMD Ryzen AI Max compartilham memória entre CPU e GPU, por isso carregam modelos enormes, mas escrevem mais devagar que uma GPU grande de desktop.

Duas placas somam a memória, então um modelo de 70 B cabe em duas placas de 24 GB. A velocidade não dobra: as placas se revezam, então você tem mais ou menos a velocidade de uma placa, um pouco menos. Escolha “2 placas” acima para ver os números.

São estimativas: largura de banda da memória × 78% ÷ dados lidos por palavra, mais um custo fixo por palavra (cerca de 1 ms, 2.8 ms para modelos de mistura de especialistas, mais na Apple), com 4 bits (Q4_K_M) e contexto de 8K. Conferimos a fórmula com 44 testes reais com llama.cpp: o erro mediano é de 9%, e 42 de 44 ficam dentro de ±30%. Os números reais também dependem da versão do software, dos drivers (na AMD, o Vulkan costuma ser mais rápido que o ROCm) e das configurações. Use-os para comparar placas, não como valores exatos.