Wir haben einen 576-GB-KI-Server gebaut, der GLM 5.2 in Ihrem Gebäude ausführt

Der On-Premise-KI-Server von Kentino vereint sechs NVIDIA RTX PRO 6000 Blackwell Max-Q, zwei EPYC-CPUs und so viel Redundanz, dass er selbst ein gezogenes Netzteil übersteht – Modelle der Spitzenklasse laufen damit bei Ihnen im Haus, nicht in der Cloud eines anderen.

One Miners kennt jeder. Lernen Sie jetzt Kentino kennen.

Wer sich in unserer Welt schon länger bewegt, kennt One Miners. Kentino ist das Schwesterunternehmen – und Kentino baut Maschinen: KI-Server, Workstations, Gaming-PCs. Im Grunde genau das, was auf dem Datenblatt in Ihrem Kopf steht.

In diesem Beitrag geht es um einen dieser Aufbauten. Das System haben wir für einen Kunden montiert, deshalb nennen wir keinen Namen. Was wir tun können: den Deckel öffnen und Ihnen genau zeigen, was in einen On-Premise-KI-Server gehört, wenn man keine Kompromisse mehr macht.

Das Versprechen: KI der Claude-Klasse, die das Gebäude nie verlässt

Der Sinn dieser Maschine ist schnell erklärt. Sie bekommen einen Assistenten in der Liga von Claude Opus oder GPT – und er läuft bei Ihnen vor Ort. In Ihrem Büro, in Ihrem Serverraum, zu Hause, wenn Sie dort arbeiten. Jeder Prompt, jedes Dokument, jede Zeile Code, die Sie einfügen, bleibt in Ihrem eigenen Netzwerk.

Das ist das Angebot: keine Abrechnung pro Token, die mit dem Nutzen mitwächst, keine Warteschlange hinter anderen Mandanten und kein Dritter, der Ihr Kontextfenster in Händen hält. Ihnen gehört die Hardware – also gehört Ihnen auch der Workload.

Innenleben: sechs professionelle GPUs mit je 96 GB

Öffnet man das Gehäuse, fällt zuerst die GPU-Wand ins Auge – drei Karten auf der einen Seite, drei auf der anderen. Jede davon eine NVIDIA RTX PRO 6000 Blackwell Max-Q mit 96 GB VRAM. Sechs Karten, zusammen rund 576 GB Videospeicher in einem einzigen Gehäuse.

Diese Konfiguration umfasst sechs Karten, das Gehäuse ist damit aber noch nicht voll. Bis zu acht Karten sind möglich, sodass sich später GPUs ergänzen oder die Steckplätze anderweitig nutzen lassen – etwa für Glasfaser-Netzwerktechnik. Hinter der GPU-Ebene versorgen zwei AMD EPYC 7643 Prozessoren die Karten mit Daten.

Auf die unspektakulären Bauteile kommt es an

Eine solche Maschine steht und fällt mit den langweiligen Spezifikationen. Arbeitsspeicher: 512 GB DDR4 in Form von 8x 64 GB LRDIMMs, erweiterbar auf 1.5 TB, wenn der Workload es verlangt. Speicher: eine 2 TB Systemplatte plus 4 TB NVMe – denn Modellgewichte müssen schnell von der Platte kommen.

Für die Stromversorgung sorgen fünf redundante Netzteile mit je 2000 W. Ziehen Sie eines mitten im Betrieb heraus, läuft der Server weiter – er lässt seinen Unmut hörbar werden, aber er läuft. Gekühlt wird mit zwölf Hochdrucklüftern mit 15,000 RPM, hot-swap-fähig und in Reihen über das Gehäuse verteilt. Sie können einen defekten Lüfter unter Last herausziehen, einen neuen einsetzen, alles schließen und weitergehen. Ein paar Sekunden lang schreit die Maschine Sie an. Das ist die gesamte Wartungsprozedur.

Das Mainboard bringt ein dediziertes Remote-Management mit, dazu zweimal 10-Gigabit-LAN, VGA onboard für ein Terminal, USB 3.2 sowie einen primären und einen sekundären Power-Button – damit Sie zum Neustarten nichts aus dem Rack ziehen müssen.

GLM 5.2 lokal betreiben

Der Vorzeige-Workload ist GLM 5.2 in Q4 – rund 341 GB Modellgewichte, verteilt über die sechs GPUs. Das ist ein wirklich großes Modell, und es liegt in Ihrem Gebäude. Andere offene Modelle laufen hier ebenso; der VRAM reicht problemlos, um mehrere gleichzeitig vorzuhalten oder zwischen ihnen zu wechseln.

Ein Kaltstart geht nicht in Sekunden – das sagen wir lieber vorher, als dass Sie es selbst herausfinden. Bis das BIOS so viel Hardware durchzählt, Linux einen sehr großen Gerätebaum aufgebaut hat und anschließend 341 GB von der SSD in den VRAM geströmt sind, vergehen bis zum ersten Token einige Minuten. Ist das System warm, gibt es keine einzelne Durchsatzzahl – und wer Ihnen eine nennt, weicht der Frage aus. Es hängt an drei Dingen: wie viele Anfragen parallel laufen, ob spekulatives Decoding aktiv ist und ob das Modell auf eine einzelne Karte passt.

Für GLM 5.2, verteilt über alle sechs GPUs: reines Decoding mit einer Anfrage und ohne spekulatives Decoding liegt bei etwa 25–40 Token/s – so viel sagt die Rechnung, und so steht es auch auf unserer öffentlichen Produktseite. Mit spekulativem Decoding, weiterhin eine Anfrage nach der anderen, sind es 40–60. In diesem Modus läuft auch das Video, weshalb der Durchlauf vor der Kamera bei rund 42 Token/s landet. Kommt zum spekulativen Decoding noch Parallelität hinzu, schafft dieselbe Maschine 60–120.

Das sind alles Werte für ein großes Modell mit 341 GB über sechs Karten. Nehmen Sie ein Modell, das in eine einzelne 96-GB-GPU passt, liegen Sie in Summe bei mehreren tausend Token pro Sekunde – denn dann laufen sechs unabhängige Instanzen statt einer verteilten. Gleiche Hardware, eine Größenordnung Unterschied. Genau deshalb sagt eine einzelne Schlagzeilenzahl nichts aus.

Über Chat und Code hinaus ist dasselbe Silizium eine ernstzunehmende Maschine für die Bildgenerierung, und auch Videoarbeit ist möglich. Der praktische Unterschied zu einem Cloud-Endpunkt ist nicht nur die Geschwindigkeit – es steht schlicht niemand vor Ihnen in der Warteschlange.

Warum Max-Q – und was dieser Kompromiss wirklich kostet

Ein Detail, bei dem Ehrlichkeit angebracht ist: Es sind die Max-Q-Varianten der RTX PRO 6000. Max-Q arbeitet mit 300 W Board-Power. Die Variante ohne Max-Q ist eine 600-W-Karte, die sich im Treiber auf rund 400 W begrenzen lässt.

Max-Q tauscht etwas On-Chip-Cache gegen die deutlich geringere Leistungsaufnahme. In einem Gehäuse mit sechs Karten ist genau dieser Tausch der Grund, warum Thermik und Strombudget überhaupt aufgehen. Eine Entscheidung, die man einmal beim Aufbau trifft und danach gern mit ihr lebt – vorausgesetzt, man hat sie bewusst getroffen.

Demnächst – und wie Sie an so eine Maschine kommen

Während des Drehs lagen noch ein paar Dinge auf der Werkbank, die nicht zu diesem Server gehören. Eine RTX 4090 und eine NVIDIA CMP 170HX – eine Mining-Karte aus der Ethereum-Ära, bei uns im Shop für €1,600 gelistet. Diese Karte bekommt im nächsten Video einen ausführlichen Test und eine ordentliche Einordnung, deshalb erklären wir sie hier nicht halbherzig.

Außerdem stellen wir eine belastbare Benchmark-Tabelle über mehrere offene Modelle zusammen. Zahlen, Methodik, kein Herumgerede. Auch das kommt als Nächstes.

Wenn Sie eine Maschine wie diese möchten – oder eine kleinere Version davon, eine Workstation oder einen Gaming-Rechner –, dann ist das genau das, was Kentino macht. Stöbern Sie in der Kollektion KI-Server, oder sagen Sie uns, was Sie brauchen, und wir konfigurieren sie für Sie.