Tmavě modrá technická titulka porovnávající nároky AI modelů na VRAM u různých konfigurací GPU.

Nároky AI modelů na VRAM u různých konfigurací GPU

Nároky AI modelů na VRAM u různých konfigurací GPU

Tabulka přináší přehled přibližných velikostí modelů (v miliardách parametrů), které lze provozovat na různých konfiguracích VRAM, spolu s příklady známých modelů. Jde o odhady, které se mohou lišit podle konkrétní implementace, architektury a použitých optimalizací.

VRAM (GB) FP32 FP16/BF16 INT8 INT4 INT2 Příklady modelů
16 3-4B 6-8B 12-16B 24-32B 48-64B GPT-2 (1.5B), BERT-Large (340M)
24 5-6B 10-12B 20-24B 40-48B 80-96B GPT-J (6B), BLOOM-7B1
48 10-12B 20-24B 40-48B 80-96B 160-192B T5-11B, BLOOM-7B1 (FP32)
80 18-20B 36-40B 72-80B 144-160B 288-320B GPT-NeoX-20B, BLOOM-176B2
96 22-24B 44-48B 88-96B 176-192B 352-384B BLOOM-176B2, Jurassic-1 Jumbo (178B)2
128 30-32B 60-64B 120-128B 240-256B 480-512B GPT-3 175B2, PaLM 540B2
160 38-40B 76-80B 152-160B 304-320B 608-640B PaLM 540B2, Megatron-Turing NLG 530B2
192 46-48B 92-96B 184-192B 368-384B 736-768B BLOOM-176B (FP16)
256 62-64B 124-128B 248-256B 496-512B 992-1024B GPT-3 175B (INT8), LLaMA 2 70B (FP32)
320 78-80B 156-160B 312-320B 624-640B 1248-1280B Chinchilla 70B (FP32)
384 94-96B 188-192B 376-384B 752-768B 1504-1536B PaLM 540B (INT8)
512 126-128B 252-256B 504-512B 1008-1024B 2016-2048B GPT-3 175B (FP16), BLOOM-176B (FP32)

Poznámky:

  1. Lze provozovat v plné přesnosti (FP32)
  2. Vyžaduje kvantizaci nebo jiné optimalizační techniky

Další úvahy:

  • Odhady předpokládají, že je modelu k dispozici celá VRAM, což v praxi často neplatí kvůli paměti, kterou si bere framework, operační systém a další procesy.
  • Paralelizace modelu a další pokročilé techniky umožňují provozovat ještě větší modely jejich rozložením přes více GPU.
  • Inference obvykle vyžaduje méně paměti než trénink, takže větší modely lze pro inferenci často provozovat i na menších konfiguracích VRAM.
  • Přesné velikosti se liší podle architektury modelu, detailů implementace a konkrétních použitých optimalizací.

Hlavní závěry:

  1. 16-24GB VRAM: vhodné pro většinu spotřebitelských AI úloh a menší výzkumné modely.
  2. 48-96GB VRAM: umožňuje práci se středními až velkými modely, běžné v profesionálním a výzkumném prostředí.
  3. 128-256GB VRAM: dovoluje provozovat některé z největších veřejně dostupných modelů s různými optimalizacemi.
  4. 320-512GB VRAM: poskytuje kapacitu pro největší současné modely i budoucí vývoj, obvykle díky sestavám s více GPU.

Tabulka ukazuje, jak zásadní vliv mají kvantizace a další optimalizační techniky na to, aby větší modely běžely na omezené VRAM. S dalším rozvojem AI lze očekávat další inovace v kompresi modelů a paměťově úsporných architekturách, které tyto hranice posunou ještě dál.

A to ještě není všechno ... transformery to zdaleka nekončí...

Zpět na blog