Ciemnogranatowa okładka techniczna porównująca zapotrzebowanie modeli AI na VRAM w różnych konfiguracjach GPU.

Zapotrzebowanie modeli AI na VRAM w różnych konfiguracjach GPU

Zapotrzebowanie modeli AI na VRAM w różnych konfiguracjach GPU

Tabela przedstawia orientacyjne rozmiary modeli (w miliardach parametrów), które można uruchomić w różnych konfiguracjach VRAM, wraz z przykładami znanych modeli. Są to wartości szacunkowe i mogą się różnić w zależności od konkretnej implementacji, architektury i zastosowanych optymalizacji.

VRAM (GB) FP32 FP16/BF16 INT8 INT4 INT2 Przykładowe modele
16 3-4B 6-8B 12-16B 24-32B 48-64B GPT-2 (1.5B), BERT-Large (340M)
24 5-6B 10-12B 20-24B 40-48B 80-96B GPT-J (6B), BLOOM-7B1
48 10-12B 20-24B 40-48B 80-96B 160-192B T5-11B, BLOOM-7B1 (FP32)
80 18-20B 36-40B 72-80B 144-160B 288-320B GPT-NeoX-20B, BLOOM-176B2
96 22-24B 44-48B 88-96B 176-192B 352-384B BLOOM-176B2, Jurassic-1 Jumbo (178B)2
128 30-32B 60-64B 120-128B 240-256B 480-512B GPT-3 175B2, PaLM 540B2
160 38-40B 76-80B 152-160B 304-320B 608-640B PaLM 540B2, Megatron-Turing NLG 530B2
192 46-48B 92-96B 184-192B 368-384B 736-768B BLOOM-176B (FP16)
256 62-64B 124-128B 248-256B 496-512B 992-1024B GPT-3 175B (INT8), LLaMA 2 70B (FP32)
320 78-80B 156-160B 312-320B 624-640B 1248-1280B Chinchilla 70B (FP32)
384 94-96B 188-192B 376-384B 752-768B 1504-1536B PaLM 540B (INT8)
512 126-128B 252-256B 504-512B 1008-1024B 2016-2048B GPT-3 175B (FP16), BLOOM-176B (FP32)

Uwagi:

  1. Można uruchomić w pełnej precyzji (FP32)
  2. Wymaga kwantyzacji lub innych technik optymalizacji

Dodatkowe uwagi:

  • Szacunki zakładają, że cała pamięć VRAM jest dostępna dla modelu, co w praktyce często nie jest prawdą ze względu na pamięć zajmowaną przez framework, system operacyjny i inne procesy.
  • Równoległość modelu i inne zaawansowane techniki pozwalają uruchamiać jeszcze większe modele, rozkładając je na wiele kart GPU.
  • Inferencja wymaga zwykle mniej pamięci niż trenowanie, więc większe modele często da się uruchomić do inferencji na mniejszych konfiguracjach VRAM.
  • Dokładne rozmiary zależą od architektury modelu, szczegółów implementacji i zastosowanych optymalizacji.

Najważniejsze wnioski:

  1. 16-24 GB VRAM: odpowiednie do większości konsumenckich zastosowań AI i mniejszych modeli badawczych.
  2. 48-96 GB VRAM: umożliwia pracę z modelami średniej i dużej skali, stosowanymi zwykle w zastosowaniach profesjonalnych i badawczych.
  3. 128-256 GB VRAM: pozwala uruchomić część największych publicznie dostępnych modeli przy użyciu różnych optymalizacji.
  4. 320-512 GB VRAM: zapewnia pojemność dla największych obecnych modeli i przyszłych rozwiązań, osiąganą zwykle w konfiguracjach wielokartowych.

Tabela pokazuje, jak duży wpływ mają kwantyzacja i inne techniki optymalizacji na możliwość uruchamiania większych modeli przy ograniczonej pamięci VRAM. Wraz z rozwojem AI można oczekiwać kolejnych innowacji w kompresji modeli i architekturach oszczędnych pamięciowo, które przesuną te granice jeszcze dalej.

I jeszcze jedno... na transformerach się nie kończy...

Powrót do blogu