ČNB posílila AI infrastrukturu, Michl osadil čtyři karty Nvidia H200
Česká národní banka rozšířila server Dell PowerEdge XE7740 na osm grafik Nvidia H200 a rozvoj AI spojuje s divizí ČNB Lab.
V kostce:
- Server Dell PowerEdge XE7740 má po rozšíření osm GPU.
- Každá karta Nvidia H200 má 141 GB paměti HBM3E.
- Server má dva procesory Intel Xeon 6 6747P.
Česká národní banka rozšířila vlastní výpočetní kapacity pro umělou inteligenci. Guvernér Aleš Michl osobně namontoval čtyři nové grafické karty od společnosti Nvidia do serveru, který banka pořídila dříve. Server Dell PowerEdge XE7740 tak má po rozšíření celkem osm grafických karet, uvedl server Lupa.cz.
Podle Lupa.cz nejde o nejnovější generaci čipů Blackwell, ale o předchozí architekturu Hopper. Karta Nvidia H200 je novější iterací modelu H100 a obsahuje paměť HBM3E o objemu 141 GB. Jedna karta H200 má 80 miliard tranzistorů a pracuje s teoretickým výkonem čtyř petaflopů při přesnosti FP8.
Server je vedle grafických karet osazen dvěma procesory Intel Xeon 6 6747P. Každý z procesorů má 48 jader a 96 vláken. Podle Lupa.cz má stroj dále 1024 GB paměti RAM typu RDIMM s rychlostí 6400 MT/s a NVMe úložiště o kapacitě 3,84 TB. Server je chlazen vzduchem.
Česká národní banka letos pro práci s umělou inteligencí zřídila divizi ČNB Lab. Jejím cílem je urychlit zavádění nástrojů postavených na AI a strojovém učení. Zavedení nové divize mělo podle Lupa.cz vliv i na propouštění lidí v bance.
Banka vedle vlastního serveru využívá i cloud. „Zatím jdeme hybridní cestou: část provozujeme na vlastní infrastruktuře, část v cloudu. Čas ukáže, zda budoucnost patří hybridní architektuře, nebo čistě cloudu,“ uvedl Michl. Hybridní přístup tak zatím kombinuje lokální výpočty s cloudovým řešením a banka další vývoj architektury nechává otevřený.
„Lokální provoz je ideální pro modely pracující s důvěrnými daty, ta neopouštějí infrastrukturu banky. Větší paměť umožňuje nasadit modely s delším kontextovým oknem, které zvládnou delší dokumenty a složitější úlohy, víc informací najednou. A provozovat víc modelů souběžně, každý pro jiný účel. Nemusíme vybírat, který zrovna poběží. Vedle toho rozšiřujeme AI i v cloudovém řešení,“ doplnil guvernér. Lokální kapacita tak umožňuje zpracovávat citlivé údaje uvnitř banky a současně provozovat několik specializovaných modelů vedle sebe.
Co to znamená: Příklad ČNB ukazuje hybridní model zavádění AI, kdy důvěrná data zůstávají na vlastní infrastruktuře a ostatní úlohy míří do cloudu. Pro firmy z toho plyne potřeba rozlišit, které modely a dokumenty vyžadují lokální provoz, jakou paměť a kontextové okno potřebují a zda má provoz více modelů souběžně oporu v kapacitách i správě.
Zdroje: