Start-up AI Elona Muska, xAI, nedávno oznámil, že „Colossus“, nejvýkonnější školicí superpočítač s umělou inteligencí na světě, je nyní online. Tento nový superpočítač s umělou inteligencí se sídlem v Memphisu v Tennessee byl postaven za pouhé čtyři měsíce (122 dní).
Nový školicí cluster xAI byl zkonstruován pomocí 100 000 benchmarkových GPU NVIDIA Hopper H100, což je vysoce žádaná součást pro trénování nových modelů umělé inteligence. Tento model je navržen tak, aby trénoval další generaci velkého jazykového modelu xAI (LLM), Grok.
Společnost také plánuje během několika měsíců zdvojnásobit počet GPU na 200 000 přidáním dalších 50 000 čipů nové, pokročilejší řady NVIDIA H200, která nabízí vyšší výpočetní paměť.
Nový benchmark GPU Hopper H200 od NVIDIA má navíc až 141 GB rychlejší paměti HBM3E, na rozdíl od H100, který má až 80 GB paměti HBM3.
Tento víkend, @xAI tým zvedl náš tréninkový cluster Colossus 100k H100 online. Od začátku do konce bylo hotovo za 122 dní.
Colossus je nejvýkonnější tréninkový systém AI na světě. Navíc se během několika měsíců zdvojnásobí na 200k (50k H200).
Vynikající…
— Elon Musk (@elonmusk) 2. září 2024
„Tento víkend uvedl tým xAI náš tréninkový cluster Colossus 100K H100 online. Od začátku do konce bylo hotovo za 122 dní. Colossus je nejvýkonnější tréninkový systém AI na světě. Navíc se během několika měsíců zdvojnásobí na 200 000 (50 000 H200). Vynikající práce týmu, společnosti NVIDIA a mnoha našich partnerů/dodavatelů,“ tweetoval Musk na X (dříve Twitter).
„Je vzrušující vidět Colossus, největší #superpočítač GPU na světě, jak je online v rekordním čase. Colossus je poháněn #acceleratedcomputingovou platformou @nvidia, která přináší průlomový výkon s výjimečnými zisky v #energetické účinnosti. Gratulujeme celému týmu!” Popisovač X NVIDIA Data Center napsal na své platformě.
GPU NVIDIA stojí kolem 30 000 dolarů, což naznačuje, že Musk utratil nejméně 3 miliardy dolarů na vybudování nového superpočítače, zařízení, které bude také vyžadovat značné zdroje elektřiny a chlazení.
V současné době je Muskův Grok 2, model AI druhé generace xAI trénovaný pomocí 15 000 GPU H100, exkluzivně k dispozici předplatitelům X premium a X premium plus s možnostmi generování obrázků a textu. Řekl, že očekává vydání třetí generace modelu AI společnosti xAI, Grok-3, do prosince.
