Pastaruoju metu mūsų klientai vis aktyviau kuria darbo vietas, skirtas AI modelių generavimui ir testavimui. Įprasti staliniai kompiuteriai, kuriuose įdiegtos „NVIDIA“ arba „AMD“ vaizdo plokštės, yra vienas iš galimų sprendimų, tačiau pagrindinis apribojimas yra vaizdo plokštėje esantis GDDR operatyviosios atminties kiekis. Net galingiausiose šiuo metu RTX 5090 žaidimų vaizdo plokštėse jis siekia 32 GB, o tai neleidžia jose paleisti populiariausių atvirojo kodo AI modelių.
Prieš savaitę gavome užsakymą iš kliento dėl kur kas sudėtingesnio sprendimo – darbo stotį reikia įrengti dviem „RTX PRO 6000 Blackwell Workstation Edition“ plokštėmis, o likusi kompiuterio konfigūracija turi būti atitinkama ir pajėgi „aprūpinti“ šias plokštes duomenimis.
Ši vaizdo plokštė turi 96 GB GDDR7 ECC atminties. Sistemoje yra dvi vaizdo plokštės, todėl iš viso fiziškai prieinama 192 GB GDDR7 atminties. Tai papildo 24 branduolių „AMD Ryzen Threadripper 9960X“ procesorius, 256 GB DDR5 ECC operatyviosios atminties, 8 TB bendros NVMe diskų talpos ir 2500 W galios „80 PLUS Platinum“ maitinimo blokas.
Kodėl reikalingos dvi tokios galingos plokštės? Dideliuose AI ir 3D projektuose ribą dažnai nulemia ne noras užbaigti darbą keliomis sekundėmis greičiau, o tai, ar modelis, duomenų rinkinys ar vaizdas iš viso telpa į turimą greitaeigės GDDR7 atminties kiekį.
„Divas RTX PRO 6000“ plečia galimybių ribas
„PNY RTX PRO 6000 Blackwell Workstation Edition“ – tai profesionalios klasės GPU su 24 064 „CUDA“ branduoliais, penktosios kartos „Tensor“ branduoliais ir 96 GB GDDR7 ECC atminties. Atminties pralaidumas siekia 1792 GB/s, o vienos plokštės maksimali galios sąnauda yra 600 W.
Naudojant dvi vaizdo plokštes, galima vienu metu paleisti keletą tarpusavyje nepriklausomų AI paslaugų arba vieną didelį uždavinį paskirstyti tarp abiejų vaizdo plokščių. Pavyzdžiui, viena plokštė gali dirbti su kalbos modeliu, o kita – generuoti vaizdus, atlikti renderinimą arba būti naudojama kūrimo procesams. 
Tačiau 2 × 96 GB automatiškai nereiškia vieno bendro 192 GB VRAM rezervo. Programinė įranga turi sugebėti paskirstyti modelį, vaizdą ar skaičiavimus tarp abiejų plokščių. AI aplinkoje naudojamas tensorių arba konvejerio lygiagretumas, o renderavimo užduotims reikalingas kelių GPU palaikymas. Jei kuri nors iš programų naudoja tik vieną plokštę, darbo procesams vis tiek bus prieinama 96 GB.
Papildomo lankstumo suteikia MIG palaikymas – kiekvieną „RTX PRO 6000“ galima suskirstyti į keletą izoliuotų GPU instancijų, pavyzdžiui, į keturias 24 GB arba dvi 48 GB dalis. Tai leidžia vieną fizinę plokštę saugiai paskirstyti kelioms AI paslaugoms ar kūrimo komandoms, kiekvienai užduočiai skiriant atitinkamą išteklių kiekį.
Platforma, skirta keliems GPU
Dviejų tokių vaizdo plokščių negalima tiesiog įdėti į įprastą „žaidimų“ kompiuterį. Reikia tinkamai išdėstytų PCIe lizdų, pakankamo PCIe linijų skaičiaus, ECC atminties palaikymo ir stabilios maitinimo sistemos.
Čia į pagalbą ateina ASUS Pro WS TRX50-SAGE WIFI A pagrindinė plokštė, kurioje yra trys PCIe 5.0 x16 lizdai, papildomas PCIe 4.0 x16 lizdas, iki 1 TB ECC RDIMM atminties, taip pat 10 Gb/s ir 2,5 Gb/s Ethernet tinklo jungtis. Greitas tinklo ryšys ypač praverčia perkeliant didelius modelius, duomenų rinkinius ir projektų failus. Plokštė skirta ilgalaikėms profesionalioms apkrovoms ir taip pat palaiko „ASUS IPMI“ išplėtimo plokštę, leidžiančią nuotoliniu būdu stebėti ir valdyti sistemą net ir tais atvejais, kai operacinė sistema nebereaguoja.
Sistemos širdis – „AMD Ryzen Threadripper 9960X“ su 24 branduoliais ir 48 srautais. Kol GPU atlieka skaičiavimus, procesorius ruošia duomenis, atlieka tokenizaciją, aptarnauja API užklausas ir valdo kitas paslaugas. „ASUS“ pagrindinė plokštė taip pat palaiko „PRO“ modelius, tačiau šiame kompiuteryje naudojamas standartinis „Threadripper 9960X“.
256 GB ECC atminties
Darbo stotyje įdiegti keturi 64 GB „Micron“ DDR5-5600 ECC RDIMM moduliai. Šioje konfigūracijoje naudojami visi keturi „Threadripper“ atminties kanalai, užtikrinantys tiek didelę talpą, tiek aukštą duomenų pralaidumą.
ECC atmintis ypač išsiskiria tuo, kad sugeba aptikti ir ištaisyti vieno bito klaidas. Profesionalioje sistemoje, kurioje skaičiavimai atliekami valandų ar dienų bėgyje, tokio tipo duomenų taisymas yra labai vertingas. RDIMM moduliai savaime pagerina signalo stabilumą ir yra pritaikyti didelės talpos atmintims.
RAM reikalinga duomenų apdorojimui, virtualioms mašinoms, duomenų bazėms ir 3D vaizdams. Todėl 192 GB GPU atminties ir 256 GB sistemos RAM nėra konkuruojantys ištekliai – jie vienas kitą papildo.
Galingumas ir aušinimas, užtikrinantys ilgalaikį veikimą
Abi vaizdo plokštės esant pilnai apkrovai gali suvartoti iki 1200 W, o „Threadripper 9960X“ TDP siekia iki 350 W. „FSP Cannon Pro“ 2500 W maitinimo blokas su ATX 3.1, PCIe 5.1 ir 80 PLUS 230 V EU Platinum efektyvumu užtikrina reikiamą rezervą net ir trumpalaikiams suvartojimo šuoliams, t. y. tai nereiškia, kad kompiuteris visą laiką suvartos 2,5 kW. Tai reiškia, kad maitinimo blokas neturi dirbti pasiekęs savo galimybių ribą. 
Procesorių aušina „Noctua NH-U14S TR5-SP6“ aušintuvas, kurio pagrindas pritaikytas būtent dideliam „sTR5“ procesoriaus paviršiui. „Fractal Design Epoch XL“ korpusas užtikrina vietą abiem GPU ir laisvą oro srautą, o trys „Arctic P12 Pro PST“ ventiliatoriai padeda išsklaidyti šilumą esant ilgalaikei apkrovai.
8 TB vietos modeliams ir projektams
Sistemoje yra du 2 TB ir vienas 4 TB „Samsung 990 PRO NVMe Gen4“ SSD diskai – iš viso 8 TB. Vieną diską galima skirti operacinei sistemai, kitą – aktyviems projektams, o trečiąjį, didžiausią – modeliams ir duomenų rinkiniams. Žinoma, faktinis paskirstymas priklauso nuo kiekvieno kliento asmeninio darbo srauto.
Komplektavimas ir testavimas nėra formalumas
Montuojant du „RTX PRO 6000“ reikia atsižvelgti ne tik į laisvas PCIe lizdus. Reikia patikrinti atstumą tarp plokščių, 12V-2×6 kabelių išlinkį ir tai, ar laidai netrukdo ventiliatoriams. Tokioje sistemoje kruopštus kabelių išdėstymas tiesiogiai veikia aušinimą.
Pirmą kartą įjungę kompiuterį, įsitikinome, kad BIOS atpažįsta visus 256 GB RAM ir NVMe diskus, o „NVIDIA“ tvarkyklė – abu GPU. Po to atskirai išbandėme procesorių, atmintį ir kiekvieną plokštę, taip pat atlikome abiejų GPU vienalaikį ilgalaikį apkrovos testą. Temperatūra, dažniai ir energijos suvartojimas vertinami valandų bėgyje, o ne tik per trumpą našumo testą. Tik atlikę tokį patikrinimą, galime drąsiai perduoti darbo stotį ilgalaikiam darbui profesionalioje aplinkoje.
Ką gali tokia darbo vieta?
AI aplinkoje šią darbo stotį galima naudoti didelių kalbos modelių veikimui ir pritaikymui taikant LoRA arba QLoRA metodus, taip pat vaizdų, vaizdo įrašų ir kitų generatyvinės AI sprendimų kūrimui. Jei programinė įranga sugeba paskirstyti modelį tarp abiejų GPU, galima dirbti ir su sprendimais, kurie netilptų į vieną 96 GB plokštę.
3D aplinkoje abi grafikos procesoriai gali būti naudojami su „Blender“, „V-Ray“, „Octane“ ar „Redshift“, jei pasirinktas renderavimo įrankis palaiko kelių GPU darbą. Sistema taip pat tinka CAD, modeliavimui, mokslinėms CUDA skaičiavimams, 4K ir 8K vaizdo apdorojimui bei AI vaizdo kokybės gerinimui.
Antrasis GPU savaime negarantuoja dvigubai didesnio greičio. Nauda priklauso nuo konkrečios programos ir nuo to, kaip efektyviai užduotis yra paskirstoma. Tačiau projektuose, kuriuose naudojami keli GPU, ši konfigūracija siūlo galimybes, kurių sistema su viena plokšte neturi.
Profesionalus įrankis konkrečiam darbui
Šio kompiuterio negalima vertinti pagal žaidimų FPS rodiklį ar vieną trumpą testą. Jis sukurtas tam, kad ilgą laiką apdorotų didelius AI modelius, atvaizduotų sudėtingas scenas ir atliktų sudėtingus profesionalius skaičiavimus.
Dvi „RTX PRO 6000 Blackwell“ kortos užtikrina milžinišką GPU galią ir iš viso 192 GB atminties, tačiau rezultatą lemia visa platforma – „Threadripper“ PCIe galimybės, 256 GB ECC RAM, 2500 W maitinimo blokas, gerai apgalvota aušinimo sistema ir programinė įranga, kuri moka išnaudoti abiejų plokščių potencialą. Tokioje sistemoje kiekviena detalė atlieka konkrečią užduotį.
Džiaugiamės, kad klientas pasirinko „TopPC.lt“ kaip partnerį šios darbo vietos įrengimui – tai tikrai buvo labai įdomus ir sudėtingas projektas.