Zapotrzebowanie modeli AI na VRAM w różnych konfiguracjach GPU
Udostępnij
Tabela przedstawia orientacyjne rozmiary modeli (w miliardach parametrów), które można uruchomić w różnych konfiguracjach VRAM, wraz z przykładami znanych modeli. Są to wartości szacunkowe i mogą się różnić w zależności od konkretnej implementacji, architektury i zastosowanych optymalizacji.
| VRAM (GB) | FP32 | FP16/BF16 | INT8 | INT4 | INT2 | Przykładowe modele |
|---|---|---|---|---|---|---|
| 16 | 3-4B | 6-8B | 12-16B | 24-32B | 48-64B | GPT-2 (1.5B), BERT-Large (340M) |
| 24 | 5-6B | 10-12B | 20-24B | 40-48B | 80-96B | GPT-J (6B), BLOOM-7B1 |
| 48 | 10-12B | 20-24B | 40-48B | 80-96B | 160-192B | T5-11B, BLOOM-7B1 (FP32) |
| 80 | 18-20B | 36-40B | 72-80B | 144-160B | 288-320B | GPT-NeoX-20B, BLOOM-176B2 |
| 96 | 22-24B | 44-48B | 88-96B | 176-192B | 352-384B | BLOOM-176B2, Jurassic-1 Jumbo (178B)2 |
| 128 | 30-32B | 60-64B | 120-128B | 240-256B | 480-512B | GPT-3 175B2, PaLM 540B2 |
| 160 | 38-40B | 76-80B | 152-160B | 304-320B | 608-640B | PaLM 540B2, Megatron-Turing NLG 530B2 |
| 192 | 46-48B | 92-96B | 184-192B | 368-384B | 736-768B | BLOOM-176B (FP16) |
| 256 | 62-64B | 124-128B | 248-256B | 496-512B | 992-1024B | GPT-3 175B (INT8), LLaMA 2 70B (FP32) |
| 320 | 78-80B | 156-160B | 312-320B | 624-640B | 1248-1280B | Chinchilla 70B (FP32) |
| 384 | 94-96B | 188-192B | 376-384B | 752-768B | 1504-1536B | PaLM 540B (INT8) |
| 512 | 126-128B | 252-256B | 504-512B | 1008-1024B | 2016-2048B | GPT-3 175B (FP16), BLOOM-176B (FP32) |
Uwagi:
- Można uruchomić w pełnej precyzji (FP32)
- Wymaga kwantyzacji lub innych technik optymalizacji
Dodatkowe uwagi:
- Szacunki zakładają, że cała pamięć VRAM jest dostępna dla modelu, co w praktyce często nie jest prawdą ze względu na pamięć zajmowaną przez framework, system operacyjny i inne procesy.
- Równoległość modelu i inne zaawansowane techniki pozwalają uruchamiać jeszcze większe modele, rozkładając je na wiele kart GPU.
- Inferencja wymaga zwykle mniej pamięci niż trenowanie, więc większe modele często da się uruchomić do inferencji na mniejszych konfiguracjach VRAM.
- Dokładne rozmiary zależą od architektury modelu, szczegółów implementacji i zastosowanych optymalizacji.
Najważniejsze wnioski:
- 16-24 GB VRAM: odpowiednie do większości konsumenckich zastosowań AI i mniejszych modeli badawczych.
- 48-96 GB VRAM: umożliwia pracę z modelami średniej i dużej skali, stosowanymi zwykle w zastosowaniach profesjonalnych i badawczych.
- 128-256 GB VRAM: pozwala uruchomić część największych publicznie dostępnych modeli przy użyciu różnych optymalizacji.
- 320-512 GB VRAM: zapewnia pojemność dla największych obecnych modeli i przyszłych rozwiązań, osiąganą zwykle w konfiguracjach wielokartowych.
Tabela pokazuje, jak duży wpływ mają kwantyzacja i inne techniki optymalizacji na możliwość uruchamiania większych modeli przy ograniczonej pamięci VRAM. Wraz z rozwojem AI można oczekiwać kolejnych innowacji w kompresji modeli i architekturach oszczędnych pamięciowo, które przesuną te granice jeszcze dalej.
I jeszcze jedno... na transformerach się nie kończy...