Thermik und Luftführung in Multi-GPU-KI-Servern

Ein Multi-GPU-KI-Server ist thermisch betrachtet ein Industrieheizgerät, das nebenbei rechnet. Ein Gehäuse mit 4× RTX 5090 gibt unter Dauerlast kontinuierlich 2.4 kW Abwärme ab, eine 8×-5090-Konfiguration 5 kW. Nichts davon verschwindet von allein – die Wärme landet auf dem GPU-Die, den VRMs und den Speicherbausteinen und von dort in der Luft, die das Gehäuse nach hinten hinausbefördern kann. Passt der Luftstrom nicht zur Wattzahl, drosselt das Silizium, und Drosselung auf einem Inferenzserver verdoppelt die Token-Latenz und halbiert klammheimlich den Durchsatz. Die meisten Berichte im Stil von „der GPU-Server ist langsamer geworden“ haben thermische, keine Software-Ursachen. Dieser Artikel behandelt die Luftstromseite des Aufbaus und ergänzt W04 zum Thema Strom.

Wärme ist nichts anderes als Leistung

Jedes Watt, das in eine GPU hineingeht, kommt als Wärme wieder heraus – die Karte verrichtet keine mechanische Arbeit, es gibt also keinen Wirkungsgrad. Die TDP-Werte, gegen die wir dimensionieren:

Zwei Punkte sind für Aufbauentscheidungen besonders relevant. NVIDIA hat die Edge-Drosselschwelle der 5090 auf ~90 °C angehoben (zuvor 83 °C bei der 4090) – der Chip hält bei gleichem Luftstrom länger den vollen Takt, das Silizium läuft dafür heißer, was im 24/7-Betrieb ins Gewicht fällt. Workstation- und Rechenzentrumskarten (Pro 6000, L40, L4) halten ihre Nenn-TDP strikt ein – sie boosten nicht über die Obergrenze hinaus. Consumer-Karten schießen dagegen nach oben. Die Workstation-Reihe lässt sich berechenbarer kühlen, die Consumer-Reihe leichter versehentlich überbuchen.

Drosselschwellen und was sie kosten

Drosselung ist ein Verlauf, kein Schalter. Auf Silizium der Blackwell-Klasse gilt:

Ein Inferenz-Workload auf einer 5090, der kalt bei 590 W läuft, fällt auf ~510 W, sobald der Edge-Sensor 90 °C überschreitet – 15 % weniger Token pro Sekunde bei einem vLLM-70B-Workload, also der Unterschied zwischen eingehaltenem und gerissenem SLO. Eine frisch eingeschaltete Karte erreicht ihren ersten Drosselpunkt 60–120 s nach Beginn der Dauerlast; Benchmarks unter 5 Minuten überschätzen den Dauerdurchsatz deshalb um 10–20 % – eine der häufigsten Ursachen dafür, dass veröffentlichte Zahlen von der Produktionsrealität abweichen.

Front-to-Back-Luftführung im Rack – die einzig sinnvolle Architektur für 24/7

GPU-Kühlertopologien lassen sich in drei Gruppen einteilen: offene Axial-Tower-Kühler (Consumer-Gaming-Karten, Abluft ins Gehäuseinnere), Blower- bzw. Radialkühler (Referenzkarten, Abluft direkt durch das Slotblech nach außen) und passive Rechenzentrumskarten (L4, L40 – ohne eigenen Lüfter, die Gehäuselüfter drücken die Luft durch den Lamellenblock). Für einen 4- oder 8-GPU-Aufbau im 24/7-Betrieb funktionieren in einem dichten Gehäuse ausschließlich Blower- und Passivtopologien. In einem 4U mit vertikal gestapelten Karten bläst ein offener Kühler seine Abwärme direkt in den Ansaugbereich der darüberliegenden Karte; die oberste Karte sitzt dann in 50–60 °C warmer Luft und drosselt binnen Minuten.

Die 4U- und 8U-Gehäuse von Kentino arbeiten mit industrieller Front-to-Back-Luftführung: 120-mm-Lüfter drücken Luft mit hohem statischem Druck über die GPUs. Die Karten sind Blower-Modelle, passiv gekühlt oder werden durch Luftleitbleche im Gehäuse gezielt angeströmt. Das Gehäuse selbst ist der Kühler.

Front-to-Back-Luftführung im Rack: Ansaugluft aus dem Kaltgang → GPUs im Luftstromkanal → Abluft in den Warmgang. So bleiben 5090er bei 22 °C Ansaugtemperatur unter 85 °C.

Statischer Druck vs. Luftdurchsatz (CFM)

Lüfter-Datenblätter nennen den Luftdurchsatz (CFM) und den statischen Druck (mm H2O). In einem offenen Gehäuse zählt vor allem der CFM-Wert; in einem 4U mit dichten Kühlkörpern, Risern, Kabelbündeln und passiven GPU-Lamellenblöcken im Strömungsweg zählt der statische Druck. Ein typischer 120-mm-Consumer-Gehäuselüfter liefert 70 CFM bei 1.2 mm H2O, ein industrieller 120-mm-Serverlüfter (Delta, Sanyo Denki, Nidec, San Ace) 110 CFM bei 8–12 mm H2O. Der Unterschied beim Durchsatz beträgt 60 %, der beim statischen Druck das 7- bis 10-Fache. In einem Gehäuse mit enger Lamellenteilung bringt der Gehäuselüfter vielleicht 20 CFM tatsächlichen Durchfluss zustande, der Industrielüfter 80 bis 90. Genau deshalb ist das Kentino AI Gehäuse laut (55–62 dBA an der Rackfront) und gehört in ein Rack oder einen Technikraum, nicht auf den Schreibtisch.

Faustregeln: ~40–50 CFM Durchfluss durch das Gehäuse je kW GPU-Abwärme; statischer Druck am Einlass ≥ 5 mm H2O; der CPU-Kühler muss ein Tower-Modell mit Front-to-Back-Durchströmung sein, kein Top-Flow-Kühler.

Druckverhältnisse, Filter und Kabelmanagement

Der Gehäusedruck ergibt sich aus dem Verhältnis von Einlass- zu Auslass-CFM. Bei Überdruck (mehr Einlass) entweicht Luft durch jede Ritze, und der Staub bleibt am Frontfilter hängen; bei Unterdruck wird ungefilterte Luft durch jede Fuge gezogen. Das Kentino 4U ist konstruktionsbedingt leicht im Überdruck – drei Einlasslüfter, ein Auslasslüfter hinten, dazu die Netzteilabluft. Filter sind entscheidend: Ein zu 50 % zugesetzter Einlassfilter senkt den Gehäuseluftstrom um 30–40 %. Im Büro alle 90 Tage prüfen, im Labor alle 30. Die meisten Meldungen im Stil von „der Server wurde nach einem halben Jahr wärmer“ sind Filterprobleme, keine Silizium-Alterung.

Kabel im Front-to-Back-Luftkanal sind das am stärksten unterschätzte thermische Problem in Multi-GPU-Aufbauten. Ein 24-poliges ATX-Bündel, das quer über die Ansaugseite von GPU 4 verläuft, reduziert deren effektiven Luftstrom um 25–40 % und bringt sie 5–8 °C über das Niveau ihrer Nachbarkarten. Verlegen Sie Strom- und EPS-Kabel hinter dem Mainboard-Tray, niemals quer durch den Luftkanal; vor der GPU-Mitte gehört kein Kabel. W04 erläutert, warum eine geteilte Stromversorgung mit zwei Netzteilen das bei einem 4-GPU-Aufbau physisch erleichtert – halb so viel Kabelmasse pro Seite. Die Entscheidung für zwei Netzteile ist ebenso thermisch wie elektrisch begründet.

Höheneinheiten im Rack und heiße Abluft

Ein 4U mit 2.4 kW bläst 35–45 °C warme Luft mit über 100 CFM aus, ein 8U mit 5 kW 40–50 °C mit über 200 CFM. Blindplatten in ungenutzten Höheneinheiten sind in jedem geschlossenen Rack Pflicht – ohne sie strömt die heiße Abluft zurück zur Ansaugseite im Kaltgang. Der ungünstigste Fall ist ein geschlossener Schrank direkt an der Wand: Die oberen Einheiten laufen dann 8–12 °C heißer als die unteren. Je eine freie Höheneinheit über und unter jedem Multi-GPU-Server verschafft in nicht eingehausten Racks 5–8 °C Reserve bei der Ansaugtemperatur. Warmgangeinhausung lohnt sich ab etwa vier Racks, für ein einzelnes Rack ist sie überzogen.

Messwerte aus der Praxis – 4 und 8 GPUs unter Dauerlast

Interne Kentino-Testläufe, vLLM-70B-Q4-Inferenz, 30 Minuten im eingeschwungenen Zustand, Raumtemperatur 22 °C ± 1 °C.

Der 4×-5090-Aufbau ist der Auslegungspunkt – 8 °C Spreizung über die Kartenbank, Boost innerhalb von 30 MHz des Nennwerts. Der 8×-5090-Aufbau liegt näher am Limit; GPU 8 mit 86 °C bewegt sich genau dort, wo das Boost-Limit zu greifen beginnt. In Räumen über 24 °C verliert ein 8×-5090-Aufbau bei den hinteren Karten an Boost – bei der 8-GPU-Konfiguration wird die Raumtemperatur am Aufstellort zum Auslegungsparameter erster Ordnung. Der Aufbau mit 4× Pro 6000 Workstation läuft bei gleicher Leistungsaufnahme kühler, weil die harte 600-W-Grenze und der Double-Flow-Through-Kühler eine berechenbarere Wärmebilanz ergeben als das transiente Spitzenverhalten der Consumer-5090.

Hotspots jenseits des GPU-Die

Der Wert, den nvidia-smi meldet, stammt vom Edge-Sensor – je nach Karte vom GDDR-Speicherrand oder vom Siliziumrand. Er ist nicht der heißeste Punkt im Gehäuse. Drei weitere Stellen sind relevant:

VRMs laufen unter Dauerlast typischerweise 10–20 °C heißer als der Die, mit einer Obergrenze um 110 °C. Bei einer 5090 mit 575 W zeigt die Platinentelemetrie VRM-Temperaturen im Bereich von 85–95 °C. Karten mit schwacher VRM-Kühlung drosseln über die VRM-Temperatur, bevor das Silizium eingreift – für nvidia-smi --query-gpu=temperature.gpuunsichtbar und nur als unerklärlicher Taktverlust erkennbar. Läuft eine Karte am GPU-Sensor kühl, verliert aber Boost, ist das VRM der erste Verdächtige.

GDDR7-Speicher wird auf der 5090 heiß. Dauerhafte Inferenz mit großem Aktivierungsdurchsatz treibt die Sperrschichttemperatur des Speichers auf 95–100 °C. Die Karte drosselt zuerst den Speichertakt (3–5 % Bandbreitenverlust), dann den GPU-Takt. Bei speichergebundenen Workloads ist die Speichertemperatur der Engpass, nicht die Kerntemperatur.

NVMe-SSDs sind der stille Killer. Ein PCIe-5.0-Laufwerk, das dauerhaft liest (Laden von 70B-Gewichten, Datensatz-Streaming), erreicht ohne aktive Kühlung binnen Sekunden 70–80 °C. Oberhalb von ~75 °C drosselt der Controller, und die Lesebandbreite halbiert sich. Ein Modell-Ladevorgang, der „eigentlich 8 Sekunden dauern sollte“, braucht 16 – und niemand weiß, warum. Jeder Kentino AI Aufbau wird deshalb mit NVMe-Kühlkörpern im Luftstromkanal ausgeliefert.

Um im Produktivbetrieb alles Relevante zu überwachen:

nvidia-smi --query-gpu=index,temperature.gpu,temperature.memory,clocks.gr,clocks.mem,power.draw \n           --format=csv -l 5

Für NVMe meldet nvme smart-log /dev/nvme0 die Controller- und Composite-Temperatur; Alarmschwelle 70 °C Composite. Die VRM-Temperatur wird auf Pro-6000-Karten über DCGM ausgegeben (dcgm-exporter für Prometheus); bei Consumer-Karten ist sie herstellerspezifisch und oft nur über Windows-Tools zugänglich – einer von mehreren Gründen, warum wir im langlaufenden Produktivbetrieb Workstation-Karten bevorzugen.

Raumtemperatur und die ASHRAE-Envelope

ASHRAE TC9.9 definiert die thermischen Envelopes, an denen sich die Rechenzentrumsplanung orientiert. Klasse A1 (Tier-1-Colocation) empfiehlt 18–27 °C Eintrittstemperatur, Klasse A2 (allgemeine Unternehmens-IT) erweitert den zulässigen Bereich auf 10–35 °C. Die Kentino AI Reihe ist auf A2 ausgelegt, doch die drosselfreie Envelope eines 4×- oder 8×-5090-Gehäuses liegt innerhalb von A1: 22 °C Ansaugtemperatur ist der Auslegungspunkt, 26 °C die praktische Obergrenze, bevor Boost-Verluste einsetzen. Auch die Luftfeuchte zählt: ASHRAE empfiehlt 20–80 % ohne Kondensation. Zielwert sind 40–60 % relative Luftfeuchte über das ganze Jahr.

Die Werte für L40 und L4 zeigen, warum diese Karten für Büroumgebungen weiterhin interessant sind: Sie kommen mit normaler Büroklimatisierung zurecht. Ein 8-GPU-Aufbau mit 5090 braucht dagegen zwingend einen Serverraum oder Technikraum mit eigener Kühlung.

HVAC-Dimensionierung in einem Absatz

Die Kühllast des Raums entspricht der dauerhaften Leistungsaufnahme aus der Steckdose: 1 kW = 3,412 BTU/hr. Ein 4-GPU-Server mit 2.4 kW liegt bei ~8,200 BTU/hr, ein 8-GPU-Server mit 4.5 kW bei ~15,400 BTU/hr. Dimensionieren Sie die Klimaanlage auf das 1.3-Fache der Dauerlast – dieselbe Reserveregel wie bei Netzteilen. Ein 12,000-BTU-Splitgerät an einem 2.4-kW-Server läuft mit 100 % Einschaltdauer und ruiniert den Verdichter in 18–30 Monaten; ein 24,000-BTU-Gerät an derselben Last läuft mit 50 % Einschaltdauer und hält 8–10 Jahre. Präzisionsklimatisierung (CRAC) wird oberhalb von 10 kW relevant, darunter genügt ein sauber dimensioniertes Splitgerät.

Bauform: 4U-Rack, 8U-Rack, Tower

Die Kentino AI Reihe nutzt drei Bauformen: 4U-Rack für 4-GPU-Aufbauten (3× 120 mm Einlass, 1× hinten, zwei ATX-Netzteile, 19-Zoll-Rack), 8U-Rack für 8-GPU-Aufbauten (industrielle Serverlüfter, CRPS-Stromversorgung, Dual-CPU-Mainboard, rund doppelte Wärmedichte des 4U) und Tower-Workstation für Entwicklungsrechner mit 1 oder 2 GPUs (PWM-Lüfter, bürotauglich). Oberhalb von 2 GPUs liefern wir keine Tower aus – ein vertikales 4-GPU-Gehäuse erreicht auf der obersten Karte binnen 20 Minuten Dauerlast 90 °C Edge. Dieselbe Hardware bleibt im 4U-Rack dauerhaft unter 85 °C.

Flüssigkeitskühlung – wann und warum

Luft bewältigt in einem gut konstruierten 4U rund 600 W pro GPU; darüber ist Flüssigkeit die Antwort. Eine AIO pro Karte senkt die GPU-Edge-Temperatur um 15–25 °C, erhöht aber die Komplexität um eine Größenordnung und bringt Pumpenausfall und unbemerktes Verdunsten der Kühlflüssigkeit als neue Fehlerbilder mit. Direct-to-Chip mit Wärmetauscher an der Rackrückseite, angebunden an das Kaltwassernetz des Gebäudes, ist ab 16 GPUs pro Cluster die richtige Lösung. Immersionskühlung in dielektrischer Flüssigkeit ist effizient, teuer und verändert das Servicekonzept vollständig.

Für die aktuelle Kentino-Reihe – luftgekühlte Gehäuse bis 600 W pro Karte – ist Luft die richtige Antwort. Ein 4×-5090-Aufbau läuft rund um die Uhr bei 78–84 °C Edge ganz ohne Drosselung, bei 22 °C Kaltgangtemperatur. Flüssigkeitskühlung würde das auf 55–65 °C drücken und ein paar Prozent Boost-Takt gewinnen; der Mehraufwand an Investition und Komplexität rechtfertigt das in dieser Größenordnung nicht.

Dieser Beitrag ist Teil des Kentino Wiki, einer Referenzreihe zu KI-Compute, Robotik und den Systemen, die beides verbinden. Anmerkungen und Korrekturen gern an info@kentino.com.