VRAM-Bedarf von KI-Modellen in verschiedenen GPU-Konfigurationen
Teilen
Diese Tabelle gibt einen Überblick darüber, welche Modellgrößen (in Milliarden Parametern) sich mit verschiedenen VRAM-Konfigurationen ungefähr betreiben lassen, jeweils mit Beispielen bekannter Modelle. Es handelt sich um Richtwerte, die je nach konkreter Implementierung, Architektur und Optimierung abweichen können.
| VRAM (GB) | FP32 | FP16/BF16 | INT8 | INT4 | INT2 | Beispielmodelle |
|---|---|---|---|---|---|---|
| 16 | 3-4B | 6-8B | 12-16B | 24-32B | 48-64B | GPT-2 (1.5B), BERT-Large (340M) |
| 24 | 5-6B | 10-12B | 20-24B | 40-48B | 80-96B | GPT-J (6B), BLOOM-7B1 |
| 48 | 10-12B | 20-24B | 40-48B | 80-96B | 160-192B | T5-11B, BLOOM-7B1 (FP32) |
| 80 | 18-20B | 36-40B | 72-80B | 144-160B | 288-320B | GPT-NeoX-20B, BLOOM-176B2 |
| 96 | 22-24B | 44-48B | 88-96B | 176-192B | 352-384B | BLOOM-176B2, Jurassic-1 Jumbo (178B)2 |
| 128 | 30-32B | 60-64B | 120-128B | 240-256B | 480-512B | GPT-3 175B2, PaLM 540B2 |
| 160 | 38-40B | 76-80B | 152-160B | 304-320B | 608-640B | PaLM 540B2, Megatron-Turing NLG 530B2 |
| 192 | 46-48B | 92-96B | 184-192B | 368-384B | 736-768B | BLOOM-176B (FP16) |
| 256 | 62-64B | 124-128B | 248-256B | 496-512B | 992-1024B | GPT-3 175B (INT8), LLaMA 2 70B (FP32) |
| 320 | 78-80B | 156-160B | 312-320B | 624-640B | 1248-1280B | Chinchilla 70B (FP32) |
| 384 | 94-96B | 188-192B | 376-384B | 752-768B | 1504-1536B | PaLM 540B (INT8) |
| 512 | 126-128B | 252-256B | 504-512B | 1008-1024B | 2016-2048B | GPT-3 175B (FP16), BLOOM-176B (FP32) |
Hinweise:
- Lässt sich in voller Genauigkeit (FP32) betreiben
- Erfordert Quantisierung oder andere Optimierungsverfahren
Weitere Aspekte:
- Diese Schätzungen setzen voraus, dass der gesamte VRAM für das Modell zur Verfügung steht. In der Praxis ist das selten der Fall, da Framework, Betriebssystem und weitere Prozesse ebenfalls Speicher belegen.
- Mit Modellparallelität und anderen fortgeschrittenen Verfahren lassen sich noch größere Modelle betreiben, indem man sie über mehrere GPUs verteilt.
- Inferenz benötigt in der Regel weniger Speicher als das Training – größere Modelle lassen sich daher oft auch mit kleinerem VRAM für die Inferenz nutzen.
- Die genauen Größen hängen von der Modellarchitektur, der Implementierung und den eingesetzten Optimierungen ab.
Das Wichtigste in Kürze:
- 16-24GB VRAM: geeignet für die meisten KI-Aufgaben im Consumer-Bereich und für kleinere Forschungsmodelle.
- 48-96GB VRAM: ermöglicht die Arbeit mit mittelgroßen bis großen Modellen, wie sie im professionellen und im Forschungsumfeld üblich sind.
- 128-256GB VRAM: erlaubt den Betrieb einiger der größten öffentlich verfügbaren Modelle mit entsprechenden Optimierungen.
- 320-512GB VRAM: bietet Kapazität für die derzeit größten Modelle und künftige Entwicklungen – meist über Multi-GPU-Setups realisiert.
Die Tabelle zeigt deutlich, wie stark Quantisierung und andere Optimierungsverfahren den Betrieb großer Modelle auf begrenztem VRAM ermöglichen. Mit dem weiteren Fortschritt der KI sind zusätzliche Innovationen bei der Modellkomprimierung und bei speichereffizienten Architekturen zu erwarten, die diese Grenzen noch weiter verschieben.
Und halt – mit Transformern ist noch lange nicht Schluss …