Tmavomodrá technická obálka porovnávajúca nároky na VRAM pre AI modely naprieč rôznymi konfiguráciami GPU.

Nároky AI modelov na VRAM naprieč konfiguráciami GPU

Nároky AI modelov na VRAM pri rôznych konfiguráciách GPU

Táto tabuľka poskytuje prehľad približných veľkostí modelov (v miliardách parametrov), ktoré je možné spustiť na rôznych konfiguráciách VRAM, spolu s príkladmi známych modelov. Ide o odhady, ktoré sa môžu líšiť podľa konkrétnych implementácií, architektúr a optimalizácií.

VRAM (GB) FP32 FP16/BF16 INT8 INT4 INT2 Príklady modelov
16 3-4B 6-8B 12-16B 24-32B 48-64B GPT-2 (1.5B), BERT-Large (340M)
24 5-6B 10-12B 20-24B 40-48B 80-96B GPT-J (6B), BLOOM-7B1
48 10-12B 20-24B 40-48B 80-96B 160-192B T5-11B, BLOOM-7B1 (FP32)
80 18-20B 36-40B 72-80B 144-160B 288-320B GPT-NeoX-20B, BLOOM-176B2
96 22-24B 44-48B 88-96B 176-192B 352-384B BLOOM-176B2, Jurassic-1 Jumbo (178B)2
128 30-32B 60-64B 120-128B 240-256B 480-512B GPT-3 175B2, PaLM 540B2
160 38-40B 76-80B 152-160B 304-320B 608-640B PaLM 540B2, Megatron-Turing NLG 530B2
192 46-48B 92-96B 184-192B 368-384B 736-768B BLOOM-176B (FP16)
256 62-64B 124-128B 248-256B 496-512B 992-1024B GPT-3 175B (INT8), LLaMA 2 70B (FP32)
320 78-80B 156-160B 312-320B 624-640B 1248-1280B Chinchilla 70B (FP32)
384 94-96B 188-192B 376-384B 752-768B 1504-1536B PaLM 540B (INT8)
512 126-128B 252-256B 504-512B 1008-1024B 2016-2048B GPT-3 175B (FP16), BLOOM-176B (FP32)

Poznámky:

  1. Dá sa spustiť v plnej presnosti (FP32)
  2. Vyžaduje kvantizáciu alebo iné optimalizačné techniky

Ďalšie úvahy:

  • Tieto odhady predpokladajú, že celá VRAM je k dispozícii pre model, čo v praxi často neplatí kvôli pamäti, ktorú spotrebúva framework, operačný systém a ďalšie procesy.
  • Paralelizmus modelu a ďalšie pokročilé techniky umožňujú spustiť aj väčšie modely ich rozložením na viacero GPU.
  • Inferencia zvyčajne vyžaduje menej pamäte než tréning, takže väčšie modely sa často dajú na menších konfiguráciách VRAM spustiť aspoň na inferenciu.
  • Presné veľkosti sa môžu líšiť podľa architektúry modelu, detailov implementácie a použitých optimalizácií.

Kľúčové závery:

  1. 16-24GB VRAM: Vhodné pre väčšinu spotrebiteľských AI úloh a menšie výskumné modely.
  2. 48-96GB VRAM: Umožňuje prácu so strednými až veľkými modelmi, často v profesionálnom a výskumnom prostredí.
  3. 128-256GB VRAM: Umožňuje spustiť niektoré z najväčších verejne dostupných modelov s rôznymi optimalizáciami.
  4. 320-512GB VRAM: Poskytuje kapacitu pre najväčšie súčasné modely aj budúci vývoj, zvyčajne dosiahnutú zostavami s viacerými GPU.

Táto tabuľka ukazuje výrazný vplyv kvantizácie a ďalších optimalizačných techník na možnosť spúšťať väčšie modely na obmedzenej VRAM. Ako sa AI ďalej vyvíja, môžeme očakávať ďalšie inovácie v kompresii modelov a pamäťovo úsporných architektúrach, ktoré tieto hranice posunú ešte ďalej.

A vydržte ... Transformermi to nekončí...

Späť na blog