Capa tecnológica azul-escura que compara os requisitos de VRAM de modelos de IA em diferentes configurações de GPU.

Requisitos de VRAM de modelos de IA em diferentes configurações de GPU

Requisitos de VRAM de modelos de IA em diferentes configurações de GPU

Esta tabela dá uma visão geral dos tamanhos aproximados de modelo (em milhares de milhões de parâmetros) que é possível correr em várias configurações de VRAM, com exemplos de modelos conhecidos. Note que se trata de estimativas, que podem variar consoante as implementações, arquiteturas e otimizações específicas.

VRAM (GB) FP32 FP16/BF16 INT8 INT4 INT2 Modelos de exemplo
16 3-4B 6-8B 12-16B 24-32B 48-64B GPT-2 (1.5B), BERT-Large (340M)
24 5-6B 10-12B 20-24B 40-48B 80-96B GPT-J (6B), BLOOM-7B1
48 10-12B 20-24B 40-48B 80-96B 160-192B T5-11B, BLOOM-7B1 (FP32)
80 18-20B 36-40B 72-80B 144-160B 288-320B GPT-NeoX-20B, BLOOM-176B2
96 22-24B 44-48B 88-96B 176-192B 352-384B BLOOM-176B2, Jurassic-1 Jumbo (178B)2
128 30-32B 60-64B 120-128B 240-256B 480-512B GPT-3 175B2, PaLM 540B2
160 38-40B 76-80B 152-160B 304-320B 608-640B PaLM 540B2, Megatron-Turing NLG 530B2
192 46-48B 92-96B 184-192B 368-384B 736-768B BLOOM-176B (FP16)
256 62-64B 124-128B 248-256B 496-512B 992-1024B GPT-3 175B (INT8), LLaMA 2 70B (FP32)
320 78-80B 156-160B 312-320B 624-640B 1248-1280B Chinchilla 70B (FP32)
384 94-96B 188-192B 376-384B 752-768B 1504-1536B PaLM 540B (INT8)
512 126-128B 252-256B 504-512B 1008-1024B 2016-2048B GPT-3 175B (FP16), BLOOM-176B (FP32)

Notas:

  1. Pode correr em precisão total (FP32)
  2. Exige quantização ou outras técnicas de otimização

Considerações adicionais:

  • Estas estimativas pressupõem que toda a VRAM está disponível para o modelo, o que muitas vezes não acontece na prática devido à memória ocupada pela framework, pelo sistema operativo e por outros processos.
  • O paralelismo de modelo e outras técnicas avançadas permitem correr modelos ainda maiores, distribuindo-os por várias GPU.
  • A inferência exige normalmente menos memória do que o treino, pelo que é frequente conseguir correr modelos maiores em inferência com configurações de VRAM mais modestas.
  • Os tamanhos exatos podem variar consoante a arquitetura do modelo, os pormenores de implementação e as otimizações usadas.

Conclusões principais:

  1. 16-24 GB de VRAM: adequado para a maioria das tarefas de IA de nível de consumo e para modelos de investigação mais pequenos.
  2. 48-96 GB de VRAM: permite trabalhar com modelos de média e grande dimensão, habituais em contextos profissionais e de investigação.
  3. 128-256 GB de VRAM: permite correr alguns dos maiores modelos disponíveis publicamente, com várias otimizações.
  4. 320-512 GB de VRAM: dá capacidade para os maiores modelos atuais e para desenvolvimentos futuros, normalmente através de configurações multi-GPU.

Esta tabela mostra o impacto significativo da quantização e de outras técnicas de otimização, que permitem correr modelos maiores com VRAM limitada. À medida que a IA continua a evoluir, é de esperar mais inovações na compressão de modelos e em arquiteturas eficientes em memória, que vão alargar ainda mais estas fronteiras.

E atenção... não fica pelos transformers...

Voltar para o blogue