FreeLLMDe quanta memória de GPU você precisa para rodar um modelo de IA em casa?
Uma explicação simples sobre tamanho do modelo, arquivos de 4 bits, memória de contexto e velocidade, com os números que o nosso simulador usa.
Três coisas decidem se um modelo roda no seu computador: o tamanho dos pesos, a memória de que o contexto precisa e a velocidade da memória da sua placa de vídeo (a ‘largura de banda’).
1. Os pesos
Um modelo é uma longa lista de números, os seus parâmetros. Guardado em precisão total, cada um ocupa 2 bytes. Quase todo mundo em casa usa, em vez disso, um arquivo comprimido de 4 bits (o formato comum se chama Q4_K_M), que ocupa cerca de 0.6 bytes por parâmetro, com pouca perda de qualidade.
Então, em linhas gerais:
| Tamanho do modelo | Arquivo de 4 bits | Arquivo de 8 bits |
|---|---|---|
| 4 B | 2.4 GB | 4.3 GB |
| 9 B | 5.5 GB | 9.6 GB |
| 14 B | 8.5 GB | 15 GB |
| 31 B | 19 GB | 33 GB |
| 120 B | 73 GB | 128 GB |
2. O contexto
Enquanto escreve, um modelo guarda uma memória da conversa, chamada de cache KV. Ela cresce a cada token da conversa e depende de como o modelo é construído: os modelos mais novos compartilham ou comprimem essa memória, os mais antigos não. Com 32,000 tokens, ela pode ficar abaixo de 1 GB ou passar de 10 GB.
Para calcular isso, lemos a ‘arquitetura real’ de cada modelo no arquivo de configuração dele no Hugging Face, em vez de chutar.
3. A velocidade
Para escrever um token, a placa lê todos os pesos ativos uma vez. Então a velocidade é, em boa parte, a largura de banda da memória dividida pelo tamanho do que ela lê. Uma RTX 4090 lê cerca de 1,000 GB/s; um modelo de 19 GB dá aproximadamente 35 a 40 tokens por segundo, mais rápido do que qualquer pessoa lê.
Modelos de mistura de especialistas leem só uma parte dos seus pesos por token, então são bem mais rápidos do que o tamanho deles sugere.
Várias placas, ou RAM do sistema
Com duas ou mais placas, ferramentas como llama.cpp e Ollama dividem as camadas entre elas. Você tem a memória de todas as placas somadas, mas a velocidade fica próxima à de uma só placa.
Se um modelo não cabe, parte dele pode ficar na RAM do sistema. Funciona, mas a RAM é de 10 a 20 vezes mais lenta que a memória da GPU, então a velocidade cai bruscamente.
Experimente
O simulador Rode em casa faz tudo isso para a sua placa exata, o seu número de placas e a sua RAM, e mostra o modelo mais bem votado que cabe. Há também 68 modelos pequenos para placas de 4 a 12 GB em que a Arena ainda não votou; nós os marcamos claramente.
O que a sua GPU consegue rodar?
Escolha a sua placa e veja de quanta memória cada modelo precisa, se cabe e a velocidade estimada.