Kentino AI 64 Rome 5080 3600TOPS — 4x RTX 5080 edullinen AI-palvelin
Yritystason alusta, koottu ja testattu EU:ssa.
Kentino AI 64 Rome 5080 3600TOPS
Edullinen 4-GPU Blackwell -palvelin
4x RTX 5080 | EPYC Milan | 3 600 TOPS INT8
Kentinon edullinen 4-GPU Blackwell -palvelin — 64 GB:n VRAM-pooli, yhteensä 3 600 TOPS INT8 ja mallistomme alhaisin CZK-per-TOPS.
4-GPU Blackwell -inferenssipalvelin RTX 5080:n ympärille — 360 W per kortti, PCIe 5 -piiri ja 16 GB GDDR7 kussakin. Neljä korttia muodostavat 64 GB:n yhteisen VRAM-poolin ja 3 600 INT8 TOPS:n kokonaissuorituskyvyn Kentinon parhaalla CZK-per-TOPS-suhteella. Lähtötaso moni-GPU-Blackwell-inferenssiin: ihanteellinen embedding-klustereille, 7-13B-mallien skaalattuun tarjoiluun, kuvien / videoiden erägenerointiin ja 70B Q4 tensor-parallel -ajoon.
Laitteisto
| Komponentti | Tiedot |
|---|---|
| GPU:t | 4x NVIDIA GeForce RTX 5080 16 GB GDDR7 (360 W, PCIe 5.0 x16) |
| VRAM-pooli | 64 GB |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0 -kaistaa) |
| Emolevy | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Järjestelmämuisti | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Käynnistys / tallennus | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Virtalähde | Yksi 2 kW ATX-virtalähde |
| Runko | 4U räkkiasennus, 4x GPU, passiiviset Gen4 x16 -riserit, ilmavirta edestä taakse |
| Jäähdytys | SP3-tornijäähdytin, 3x 120 mm tuloilma edessä + 1x 120 mm poisto takana (teollisuuspuhaltimet) |
| Verkko | Integroitu kaksois-10 GbE (Intel X550) + IPMI |
Tehobudjetti
- GPU-kulutus: 4 x 360 W = 1 440 W
- Järjestelmä yhteensä täydellä kuormalla: ~1 765 W
- Virtalähde yhteensä: 2 000 W (yksi 2 kW ATX) — 11.75 % varaa
- Yli 10 %:n minimin, mutta tiukempi kuin muissa 4-GPU-kokoonpanoissa; raskaaseen kuormitukseen suositellaan kahden virtalähteen päivitystä
Kaistatopologia
ROMED8-2T jakaa 4x16 Gen4 -kaistaa suoraan CPU:n root complexista. 5080 on PCIe Gen5 -piiri, joka toimii Gen4 x16:lla ilman kaistanleveyden pullonkaulaa inferenssissä. Ei PCIe-kytkintä. Ei NVLinkiä — tensor parallel PCIe:n yli.
Mitä sillä voi ajaa
64 GB:n yhteisellä VRAM-poolilla 4 Blackwell-kortissa palvelin hoitaa 70B Q4 tensor-parallel -ajot, embedding-klusterit mittakaavassa, kuva- ja videoeräputket sekä 7-13B-mallien monivuokralaistarjoilun 64-128 samanaikaiselle käyttäjälle.
LLM:t — teksti / päättely / koodaus
Kiinalaiset kärkimallit
- Qwen3-32B Q8 (tiheä, lähes fp16-laatu); Qwen3.5-27B bf16
- Qwen3-30B-A3B / Qwen3-Coder-30B-A3B bf16 (~60 GB mahtuu tiukasti)
- Qwen3.5-122B-A10B Q4 (~70-75 GB — tiukka, ylivuoto DDR4-muistiin)
- Hunyuan-A13B fp8 (~80 GB natiivi — tiukka, suosi Q6:ta)
- Seed-OSS-36B bf16 (~72 GB tiukka)
- DeepSeek-R2 32B harva MoE bf16 (~64 GB) (~45-60 tok/s single-stream Q4:llä Blackwellilla, julkaistu viite)
- GLM-4.5-Air 106B/12B Q3_K (~55 GB) — niukasti KV-varaa
- ERNIE-4.5-47B-A3B Q4 (~28 GB, tilaa toiselle mallille)
Länsimaiset kärkimallit
- Llama 3.3 70B Q4_K_M (~43 GB) — tämän poolin sweet spot (~30-36 tok/s single-stream 4x 5080:lla, julkaistu viite)
- Hermes 3 70B / Tulu 3 70B Q4 — avoimia Llama-johdannaisia täysin läpinäkyvällä jälkikoulutuksella
- Mistral Small 3 / Magistral / Devstral Small 2 24B bf16
- Gemma 3 27B bf16 multimodaalinen
- Phi-4 14B / Nemotron-Super 49B Q6-Q8
- gpt-oss-20b MXFP4 (16 GB — 4 instanssia 4 kortilla rinnakkaisille vuokralaisille); gpt-oss-120b MXFP4 (80 GB — tiukka; ylivuoto hallittavissa)
Kuva-kielimallit
Qwen3-VL-32B / Qwen3-VL-30B-A3B / Qwen3-Omni-30B-A3B; InternVL3.5-38B Q6-Q8; Llama 3.2 90B Vision Q4 (~52 GB tiukka); Pixtral 12B / Pixtral Large 124B Q2-Q3; Gemma 3 27B multimodaalinen bf16; PaliGemma 2 28B bf16; Molmo 72B Q4 (~45 GB); Aya Vision 32B bf16.
Kuvagenerointi
FLUX.1 [dev] / [schnell] fp16 — batch-4 rinnakkain (~10-15 sekuntia per 1024x1024-kuva fp8:lla Blackwellilla, julkaistu viite); FLUX.1 Kontext [dev] — kontekstuaalinen muokkaus 4 vuokralaiselle; SD 3.5 Large (18 GB fp16) — 4 rinnakkaista generaattoria; SDXL 1.0 + ControlNet + AnimateDiff -pinot x 4; HunyuanImage-2.1 bf16 per kortti; AuraFlow v0.3 / OmniGen v1 / Kolors 2.0 / PixArt-Sigma.
Videogenerointi
Wan 2.2 TI2V-5B bf16 yhdellä kortilla — 4 rinnakkaista vuokralaista; Wan 2.1 14B T2V/I2V Q4-Q6 per kortti; HunyuanVideo 13B Q4 (~30 GB) tensor-parallel 2-way; HunyuanVideo 1.5 (8.3B) bf16 per kortti; Open-Sora 2.0 (11B) Q8 per kortti — 4 rinnakkaista generointia; CogVideoX-5B int8; Mochi-1 Q4 per kortti.
Ääni / puhe / TTS
Koko länsimainen ja kiinalainen äänipino mahtuu yhdelle kortille: Whisper v3 + Parakeet + Canary + Moshi + Step-Audio 2 / R1 + CosyVoice 3.0 + Kokoro + Stable Audio Open + MusicGen + AudioGen + SeamlessM4T v2. Neljällä kortilla jokainen kortti voi isännöidä omaa puhevuokralaistaan. Whisper v3 turbo toimii ~50x reaaliajassa per kortti (julkaistu viite).
Monimalli / monivuokralainen
Ensisijainen käyttötapaus. 16 GB per kortti suosii osioituja kuormituksia:
- Embedding-klusteri: BGE-M3 / Nomic / Jina-embed / E5 / Cohere Embed v3 — 4 vuokralaista korkealla RPS:llä
- 7-13B-tarjoilu mittakaavassa: 16-32 samanaikaista käyttäjää per kortti vLLM:llä / SGLangilla; yhteensä 64-128 samanaikaista
- Sekaputki: Kortti 1 = Qwen3-14B + reranker; Kortti 2 = Whisper + Moshi; Kortti 3 = FLUX.1; Kortti 4 = Wan 2.2 TI2V
- 4-way tensor-parallel 70B Q4:lle — Llama 3.3 70B AWQ INT4 4 kortilla, ~90-130 tok/s batch yhteensä (ekstrapoloitu gf-logicin 4x4090-benchmarkista)
Kohdekuormitukset
- Edullinen moni-GPU AI-tarjoilualusta startupille tai laboratoriolle tiukalla investointibudjetilla
- Embedding + RAG -infrastruktuuri 4-kertaisella horisontaalisella skaalauksella
- Kuva- / videogeneroinnin eräfarmi (Stable Diffusion / FLUX / Wan 2.2)
- 7-13B pienten mallien tarjoilu mittakaavassa — 4 itsenäistä vuokralaista tai 64-128 samanaikaista yhteisellä poolilla
- Kehityksen staging-kone 70B Q4 tensor-parallel -työnkuluille
Julkaistut suorituskykyviitteet
Kentinon mittaamat (4x4090-viite) + julkaistut 5080-arviot
| Benchmark | Tulos |
|---|---|
| 4x4090-viite: jatkuva fp16 | 647 TFLOPS |
| 4x4090-viite: vLLM Llama 3.3 70B AWQ (batch-32) | 179.3 tok/s yhteensä |
| 4x4090-viite: llama.cpp 70B Q4_K_M (single) | 20.3 tok/s decode |
| 5080 arvio: Llama 3.3 70B Q4 TP-4 single | ~15-20 tok/s |
| 5080 arvio: FLUX.1 fp8 per kortti | ~2.2-2.8 s per 1024x1024, 20 askelta |
5080:n tensorisuorituskyky ~1.35x 4090 per INT8 TOPS; single-stream-dekoodausta rajoittaa muistikaista (GDDR7 ~960 GB/s vs 4090 ~1 008 GB/s — käytännössä tasoissa).
Ei ihanteellinen
- 70B tiheä Q6+:lla (16 GB per kortti rajoittaa korttikohtaista jalanjälkeä; 64 GB:n pooli on tiukka Q6:lle)
- Pitkän kontekstin MoE-lippulaivat (Qwen3-235B, GLM-4.5) — VRAM ei riitä edes Q2:lla
- Viiveherkkä single-stream-työ erittäin suurilla malleilla (TP-yleiskustannus syö 16 GB:n kortteja)
Takuu ja toimitusaika
Kokoonpano sisältää asennuksen, BIOS-konfiguroinnin, ajurien asennuksen, burn-in-testauksen ja toiminnallisen tarkastuksen. Toimitusaika riippuu komponenttien saatavuudesta ja vahvistetaan tilauksen yhteydessä.
Suositellut lisävarusteet
- Päivitys kahteen synkronoituun 2 kW ATX-virtalähteeseen — nostaa varan 55 %:iin
- NVIDIA ConnectX-5 100 GbE MCX555A-ECAT
- Käynnistysaseman päivitys 4 TB NVMe:hen
- Muistin päivitys 384 GB:hen (6x 64 GB) — enemmän varaa samanaikaisille malleille
- Räkki-PDU (C13/C19, mittaroitu) ja 3 kVA online-UPS
Kysymykset, joita ostajat kysyvät meiltä useimmin ennen palvelimen tilaamista.
Kauanko se kestää?
Varastossa olevista komponenteista rakennetut koneet toimitetaan nopeasti; tiettyä GPU-sukupolvea vaativien koneiden toimitus riippuu saatavuudesta. Annamme päivämäärän ennen maksua, ja jos se muuttuu, kerromme siitä itse emmekä anna sen tulla yllätyksenä.
Voiko kokoonpanoa muuttaa ennen rakentamista?
Lähes aina. GPU:t, muisti, tallennustila ja jäähdytys valitaan tilauskohtaisesti, ja listattu kokoonpano on lähtökohta eikä kiinteä paketti. Jos tarvitaan enemmän VRAM:ia, nopeampaa tallennusta tai erilaista jäähdytysratkaisua, kerro siitä ennen tilausta, niin teemme muutoksesta tarjouksen.
Voiko palvelimen noutaa itse?
Voi. Varastomme sijaitsee Prahassa, ja nouto paikan päältä on tervetullut — useimmat noutajat käyttävät käynnin hyväkseen, käyvät koneen läpi insinöörimme kanssa ja kysyvät ne kysymykset, jotka ovat sähköpostitse hankalia. Tšekin tasavallan sisäisissä tilauksissa pyrimme myös toimittamaan laitteen henkilökohtaisesti ja käymään asennuksen läpi paikan päällä.
Voinko keskustella jonkun kanssa, joka oikeasti ymmärtää kuormituksen?
Kyllä. Meillä on nimenomaan AI-järjestelmiin erikoistunut insinööri, ei yleistä myyntipalvelua. Jos kysymys koskee eräkokoja, kvantisointia, väyläratkaisuja tai sitä, missä pullonkaula tulee vastaan, kysy — se keskustelu yleensä parantaa kokoonpanoa.
Mitä mallia tällä kokoonpanolla voi ajaa?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Miten palvelin testataan ennen toimitusta?
Testaamme laitteen todellisilla AI-kuormituksilla synteettisten pisteiden sijaan: inferenssiläpäisy, käyttäytyminen jatkuvassa kuormassa ja lämpötilat yhtäjaksoisessa käytössä. Benchmark-tulokset toimitetaan koneen mukana, joten luvattu suorituskyky on todennettavissa ensimmäisestä päivästä lähtien.
Onko palvelin käyttövalmis saapuessaan?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Toimitus EU-varastostamme. Raskaat tuotteet voivat vaatia rahtijärjestelyjä — pyydä toimitustarjous ja toimitusaika. 2 vuoden rajoitettu takuu ja ennakkovaihto-RMA-tuki; jatkettu takuu saatavilla.
Etkö löytänyt juuri sitä, mitä tarvitset?
Kerro kuormituksesi, niin määrittelemme alustan sen ympärille — GPU:t, muisti, tallennustila ja jäähdytys sovitettuna todelliseen käyttöön.