Tmavě modrý technologický obal ilustrující průlom TurboQuant v kompresi KV cache pro velké jazykové modely.

TurboQuant: průlom v kompresi KV cache pod lupou

Doba čtení: 10 min | Jak 3bitová komprese od Googlu zlevňuje LLM s dlouhým kontextem a co to vypovídá o následujících 18 měsících AI inference

Komprese KV cache — přehled dvoustupňové pipeline TurboQuant

V každé delší konverzaci s velkým jazykovým modelem se skrývá jeden tichý problém a právě kvůli němu jsou takové konverzace drahé. Jmenuje se KV cache a při dlouhém kontextu dokáže spotřebovat víc paměti než samotný model. 24. března zveřejnil tým z Google Research TurboQuant, který tuto cache komprimuje na tři bity na hodnotu bez měřitelné ztráty přesnosti a bez jakéhokoliv doladění. Šestkrát méně paměti. Až osmkrát rychlejší attention na H100. Stojí za to tomu pořádně porozumět, protože komprese KV cache patří k nejúčinnějším pákám v nasazené AI a TurboQuant je zatím nejjasnější veřejný signál, že se obor dostal za zlom.

Vedu Kentino. Součástí té práce je číst podobné články pozorně, aby to naši zákazníci — těžaři, stavitelé, zvědaví Evropané sledující AI a krypto stack — dělat nemuseli. Tenhle text je můj pokus vysvětlit, co TurboQuant vlastně dělá, jak zapadá do širší vlny výzkumu komprese KV cache v letech 2025–2026 a co může rozumný člověk čekat od následujících osmnácti měsíců.

Problém KV cache, popsaný na rovinu

Když transformer generuje text, každý nový token se vztahuje ke všem předchozím tokenům. Aby model nemusel v každém kroku znovu počítat tenzory klíčů a hodnot pro dřívější tokeny, ukládá si je. Tomuto úložišti se říká KV cache.

Cache roste lineárně s délkou kontextu. Dvojnásobná konverzace, dvojnásobná cache. U středně velkého modelu s 8B parametry běžícího se 128k tokenů kontextu ve FP16 může KV cache pro jedinou relaci snadno dosáhnout desítek gigabajtů. Váhy by zabraly šestnáct. Cache je mnohonásobně přesáhne.

Z toho plynou tři praktické důsledky.

Zaprvé, inference s dlouhým kontextem naráží na paměť dřív než na výpočetní výkon. VRAM Vám dojde dávno před tím, než Vám dojdou FLOPy.

Zadruhé, náklady na provoz škálují špatně. Každý souběžný uživatel potřebuje vlastní cache. GPU, která by jinak zvládla dávkovat padesát krátkých konverzací, uveze pět dlouhých.

Zatřetí, inference na zařízení a na okraji sítě zůstává mimo dosah právě pro ty modely, které by tam byly opravdu užitečné — protože to, co se tam nevejde, není model, ale cache.

Komprimovat KV cache dobře — tedy agresivně, levně a bez újmy na kvalitě výstupu — proto není drobná optimalizace. Mění to, které workloady jsou životaschopné a které ne. A právě tento problém TurboQuant řeší.

Co TurboQuant vlastně dělá

TurboQuant je dvoustupňový algoritmus. Oba stupně jsou training-free a nezávislé na datech, což znamená žádné doladění, žádný kalibrační dataset, žádné ladění pro konkrétní model. Nasadíte ho a funguje. Upřímně řečeno to je důležitější než samotný kompresní poměr, protože právě díky tomu lze metodu bez tření zasadit do stávajícího inferenčního stacku.

První stupeň: PolarQuant

Prvním stupněm je PolarQuant, samostatná práce téže skupiny (Zandieh, Mirrokni a kol., AISTATS 2026). Myšlenka je spíš strukturální než statistická.

Kvantizovat vysokodimenzionální vektory v kartézských souřadnicích je nepohodlné. Přirozený krok — normalizovat na jednotkovou sféru a pak kvantizovat směr — se ukazuje jako drahý, protože počítat normu každého vektoru je přesně to úzké hrdlo, kterému jste chtěli utéct. Starší metody tuto cenu zaplatily a přesnost při nízkých bitových šířkách stejně ztrácely.

PolarQuant dělá dvě věci, aby se téhle pasti vyhnul. Nejprve aplikuje náhodnou rotaci, díky níž se — poněkud neintuitivně — geometrie rozložení vektorů stane předvídatelnější a lépe zpracovatelnou. Potom převede vektory do polárních souřadnic — poloměr pro velikost, úhel pro směr — a promítne je na kruhovou mřížku, kterou lze kvantizovat bez kroku normalizace. Výsledkem je čistá nízkobitová reprezentace každého vektoru, která zachovává jeho podstatnou geometrii.

Komprese KV cache — rotace a mřížka v polárních souřadnicích u PolarQuantu

Druhý stupeň: QJL

Samotný PolarQuant po sobě nechává zbytkovou chybu. Druhý stupeň, Quantized Johnson-Lindenstrauss (QJL), ji odstraní za cenu jediného bitu navíc na hodnotu.

Johnsonova-Lindenstraussova transformace je klasický výsledek: vysokodimenzionální vektory lze náhodným lineárním zobrazením promítnout do mnohem nižší dimenze a přitom přibližně zachovat vzájemné vzdálenosti. QJL jde ještě dál a ponechává si jen znaménkový bit každé promítnuté souřadnice — plus jedna, mínus jedna, nic víc. Žádná režie navíc kromě toho jednoho bitu.

Matematicky QJL poskytuje nestranný odhad attention skóre. Opravuje zbytkovou chybu z PolarQuantu, aniž by znovu zaváděl zkreslení, jímž trpí naivní nízkobitová schémata. V tom je ten trik. Jeden pečlivě zvolený znaménkový bit stačí k vyčištění chyby z prvního stupně.

Čísla

Oba stupně dohromady končí na třech bitech na hodnotu, což je šestkrát méně než výchozí FP16. Na NVIDIA H100 běží výpočet attention logitů při 4 bitech až osmkrát rychleji než při 32 bitech. Google testoval modely Gemma, Mistral a Llama-3.1-8B-Instruct na sadách LongBench, Needle In A Haystack, ZeroSCROLLS, RULER a L-Eval. Přesnost zůstala zachována u všech pěti benchmarků s dlouhým kontextem. Doplňkový test vektorového vyhledávání na GloVe-200 navíc ukázal lepší 1@k recall než baseliny PQ a RabbiQ, což naznačuje, že metoda zobecňuje i mimo KV cache.

Hlavní metriky TurboQuantu
Metrika Hodnota
Bitů na uloženou hodnotu 3 bity
Úspora paměti KV cache 6×
Zrychlení attention na H100 (4 bity vs. 32 bitů) až 8×
Nutné doladění Žádné
Nutná kalibrační data Žádná
Naměřená ztráta přesnosti Nulová napříč LongBench, NIAH, ZeroSCROLLS, RULER, L-Eval
Testované modely Gemma, Mistral, Llama-3.1-8B-Instruct

Kompletní rozbor najdete na blogu Google Research. TurboQuant bude představen na ICLR 2026 v Riu de Janeiru.

Širší vlna

TurboQuant v tom není sám. Je to nejvýraznější nedávný příspěvek do rychle se rozvíjející oblasti a číst ho bez kontextu znamená přeceňovat jeho novost. Hned několik dalších metod z konce roku 2025 a začátku roku 2026 útočí na stejné úzké hrdlo z jiných stran.

Metody komprese KV z let 2025-2026
Metoda Konference Přístup Hlavní výsledek
TurboQuant ICLR 2026 PolarQuant + QJL, online inference 3 bity, 6× paměti, až 8× zrychlení attention, nulová ztráta přesnosti
KVTC (NVIDIA) ICLR 2026 Transformační kódování — PCA + adaptivní kvantizace + entropické kódování Až 20× komprese pro offline uložení a opětovné použití cache
ChunkKV OpenReview, září 2025 Sémantický blok jako jednotka komprese Až +8.7 % přesnosti při stejném kompresním poměru
PM-KVQ 2025 Progresivní smíšená přesnost pro uvažovací modely 2.73–5.18× vyšší propustnost oproti FP16, +8 % na uvažovacích benchmarcích
KVPress (NVIDIA) Otevřený framework Nástroj pro benchmarking a nasazení Umožňuje praktikům testovat tyto metody ve velkém

Každá míří na jinou niku. KVTC je pro offline opětovné použití — uložíte cache z jedné konverzace a načtete ji do jiné, přičemž si můžete dovolit náročnější kódování výměnou za mnohem vyšší kompresi. ChunkKV je pro případy, kdy potřebujete komprimovat agresivně, ale zachovat sémantický význam, což je důležité u úloh, kde ztráta tokenu bolí víc než ztráta jedné číslice přesnosti. PM-KVQ je laděné na dlouhé řetězce uvažování, které produkují reasoning modely. A KVPress je instalatérská práce, díky níž si zbytek z nás může všechny metody poctivě porovnat.

Výjimečnost TurboQuantu spočívá v kombinaci provozu bez doladění, vhodnosti pro online inferenci a prokazatelně nestranného odhadu. Je to metoda, která se nejspíš dostane do produkčních frameworků jako první — právě proto, že od provozovatele modelu nic nevyžaduje.

Co to odemyká

Když poodstoupíme od článku a zamyslíme se, kam to vede: praktické dopady se snáz pojmenují, než vyčíslí.

Inference s dlouhým kontextem citelně zlevní. Když je Vaše KV cache šestkrát menší, můžete na stejnou GPU nadávkovat víc uživatelů, nebo obsloužit delší kontext za stejný rozpočet, případně obojí. Každý, kdo provozuje inferenční službu, to na své marži pocítí do čtvrt roku od nasazení.

Nasazení na okraji sítě se stává reálným pro třídy modelů, které byly dosud mimo dosah. Model s 8B parametry a dlouhým kontextem na pracovní stanici s GPU, nebo model s 3B parametry na notebooku, se posouvá z kategorie „sotva možné“ do kategorie „běžná věc“, jakmile se cache zmenší o tenhle faktor. Podobně si polepší on-prem nasazení ve firmách, které nesmějí posílat data do cloudových API — právní, zdravotnický či průmyslový telemetrický sektor.

Hardwarová stránka z toho plyne přímo a tady to přestává být abstraktní. Komprese jako TurboQuant nemění, které GPU existují; mění, které workloady se vejdou — a právě teď jsou workloady, které lidé chtějí provozovat on-prem, čínské open-weights frontier modely, jež si v průběhu prvního čtvrtletí 2026 tiše usedly na špičku oboru.

Současnou sestavu stojí za to pojmenovat výslovně, protože přesně na tohle se nás zákazníci ptají. Kimi K2.5 od Moonshot AI — 1T parametrů celkem, 32B aktivních, MoE, 256K kontext, licence MIT — vyšel 27. ledna a vede mezi open-weights modely v kódování a matematice. GLM-5 od Z.ai — 744B celkem / 40B aktivních, 204K kontext, licence MIT — je aktuálně na vrcholu open-weights Intelligence Indexu i SWE-bench Verified. MiniMax M2.5 — 229B celkem / 10B aktivních, 200K kontext — vyšel 12. února, je agresivně naceněný a dává přes 80 % na SWE-bench. Qwen3-Coder-Next od Alibaby — 80B celkem / 3B aktivních, nativně 256K kontext, rozšiřitelný na 1M pomocí YaRN — plus širší rodina Qwen3 od hustých 0.8B–27B až po MoE 397B-A17B. Všechno open weights. Všechno nasaditelné hned.

V Kentinu stavíme stroje přesně pro tenhle workload, takže si tu matematiku pojmenujme konkrétně. Naším vlajkovým inferenčním serverem je sestava 4× NVIDIA RTX 4090 — 96 GB sdružené VRAM, AMD EPYC 7542 na základní desce ASRock Rack ROMED8-2T, 256 GB paměti DDR4-2666 ECC RDIMM, 2 TB NVMe, dva zdroje 2 kW zdroje, v 24U rack. Nad tím stavíme konfigurace 4× RTX 5090 a 8× RTX 5090 (128 GB a 256 GB sdružené VRAM) a datacentrové 4× L40 / L40S (192 GB sdružené ECC) pro trvalou zátěž podnikové třídy a produkční provoz 24/7.

Co na tomhle obrázku TurboQuant mění, je člen za KV cache. Moderní MoE modely už používají komprimovanou attention (latentní attention typu MLA u Kimi, GQA u Qwen3), takže jejich KV cache na token je menší než u starších modelů třídy Llama už na začátku. Přidejte k tomu TurboQuant a dostanete dalších zhruba 6×. Praktický efekt je ten, že kontextové okno, které daná mašina skutečně obslouží — na rozdíl od toho, co má na papíře — se citelně posune. Váhy se nepohnuly. Pohnulo se úzké hrdlo.

Server Kentino × model × TurboQuant
Sestava serveru Kentino Sdružená VRAM Model, který se pohodlně vejde S kompresí KV pomocí TurboQuantu
4× RTX 4090 (AMD EPYC 7542, 256 GB ECC) 96 GB Qwen3-Coder-Next 80B celkem (FP8), hustý Qwen3 27B (FP16) Qwen3-Coder-Next při nativním 256K kontext pro jednoho uživatele, nebo 80B při 128K pro ~3-4 souběžné uživatele
4× RTX 5090 128 GB Qwen3-Coder-Next s rezervou, Qwen3 32B (FP16), MoE třídy 100B (INT4) Qwen3-Coder-Next při 1M kontextu přes YaRN, nebo 80B při 256K souběžně
8× RTX 5090 256 GB MiniMax M2.5 (FP8, ~230 GB), Qwen3 397B-A17B (INT4), GLM-5 (INT4) MiniMax M2.5 v produkci při plném 200K kontext, nebo Qwen3 397B při 128K souběžně
4× L40 / L40S 192 GB ECC MiniMax M2.5 (INT4), Qwen3-Coder-Next v produkci 24/7 Provoz podnikové třídy s ECC při dlouhém kontextu a trvalé zátěži

Dvě poctivé výhrady. Zaprvé, Kimi K2.5 a GLM-5 v plném FP8 (1T, resp. 744B celkem vah) stále přesahují, co tyhle mašiny pojmou — u nich se bavíme o clusteru, nebo o přijetí agresivní kvantizace INT4. Zadruhé, přesné limity tokenů závisí na velikosti dávky, konkrétní konfiguraci attention u daného modelu a na frameworku (vLLM, SGLang i TensorRT-LLM implementují nízkobitové KV každý jinak). Podstatný je ale směr: mašina 4× RTX 4090, která před rokem dávala smysl pro husté 13B modely, je dnes správnou odpovědí na Qwen3-Coder-Next v jeho plném 256K kontext. 4× RTX 5090 pohodlně utáhne kódovací model třídy 80B aktivních i s prostorem pro souběžné uživatele. 8× RTX 5090 nebo 4× L40S otevírá MiniMax M2.5 a větší MoE varianty Qwen3 v produkčním měřítku. Hardware se nezvětšil; zmenšil se workload.

A jakýkoliv inferenční workload, který běží nepřetržitě nad provozní telemetrií, z toho těží úměrně. Jedním reálným příkladem je optimalizace těžebních farem: provozovatelé jako OneMiners provozují nad tisíci ASIC systémy řízené AI a inferenční vrstva pod nimi škáluje přímo s tím, kolik kontextu dokáže každý model levně udržet. Tahle třída výzkumu takové workloady přes noc nepromění, ale posouvá křivku toho, co je cenově únosné.

Poctivá předpověď je nenápadná. 6× úspora paměti na jednom úzkém hrdle nevytvoří nový svět. Vytvoří o něco levnější, o něco delší kontext zvládající a o něco lépe nasaditelnou verzi světa, který už máme. I to ale v součtu napříč oborem znamená obrovské množství ušetřených peněz a inženýrské práce.

Co sledovat v letech 2026-2027

Několik konkrétních věcí, zhruba podle pravděpodobnosti.

Porovnání metod komprese KV cache napříč výzkumem 2025-2026

Integrace do frameworků. vLLM, TensorRT-LLM a SGLang převezmou metody typu TurboQuant během několika měsíců, pravděpodobně přes KVPress jako benchmarkovou vrstvu. Otevřená implementace v Tritonu, kterou tým Googlu zveřejnil, z toho dělá téměř mechanickou záležitost.

Podpora na úrovni hardwaru. NVIDIA dala najevo zájem o nízkobitové attention primitivy jak přes KVTC, tak přes KVPress. Čekejte, že nástroje generace Blackwell budou s 3-4bitovými KV formáty zacházet jako s plnohodnotnými, ne experimentálními.

Konsolidace metod. Pět výše uvedených přístupů řeší překrývající se problémy. Jednotný stack — geometrická komprese typu PolarQuant pro online attention, entropické kódování typu KVTC pro offline uložení, sémantické seskupování typu ChunkKV jako vstupní vrstva — je pravděpodobným cílovým stavem. Nedojde k němu jediná práce; stack se zformuje během roku integrační práce.

Skutečné snížení nákladů na provoz. Do konce roku 2026 by měly být náklady na inferenci s dlouhým kontextem viditelně nižší než dnes, přičemž většina úspory přijde z komprese, nikoliv z nového křemíku. To je nejčistší způsob, jak poznat, že tahle linie výzkumu uspěla.

Závěrem

TurboQuant je skutečný posun na skutečném úzkém hrdle a přišel uvnitř výzkumné vlny, která problém řeší hned z několika stran naráz. Hlavní čísla jsou působivá sama o sobě — tři bity, šestkrát, osmkrát — ale důležitější vlastností je, že metoda po provozovateli modelu nic nechce. Nasazují se právě ty metody, které nepotřebují trénink ani data.

Pokud provozujete inferenci s dlouhým kontextem v jakémkoliv měřítku, stojí za to tohle sledovat. Pokud ne, i tak se vyplatí tomu rozumět, protože ekonomiku modelů, které jednou budete používat, tiše nastavují právě takovéhle práce.

Zdroje

G
Blog Google ResearchRozbor práce TurboQuant
N
NVIDIA KVPressFramework pro benchmarking komprese KV
K
Multi-GPU inferenční servery Kentino4× / 8× RTX 5090, 4× RTX 4090, L40 / L40S
B
Blog KentinoDalší analýzy a návody na sestavy
Tento článek je technická analýza a komentář. Uváděné výsledky benchmarků pocházejí z citovaných publikací (TurboQuant, KVTC, ChunkKV, PM-KVQ, KVPress) a z blogu Google Research. Hardwarové konfigurace popisují inferenční servery Kentino v podobě nabízené v době vzniku textu; přesné specifikace a dostupnost se mohou změnit. Počty parametrů modelů, délky kontextu a data vydání odpovídají veřejně oznámeným údajům příslušných rodin open-weights modelů.
Zpět na blog