Cerebras Systems je nedavno razkril revolucionarni WSE-3 (Wafer Scale Engine 3), s čimer je povsem preoblikoval področje umetne inteligence. Ta napredni čip na ravni vafle, ki ima dvojno zmogljivost svojega predhodnika WSE-2, bo preoblikoval zmogljivosti modelov umetne inteligence.
WSE-3 predstavlja izjemen tehnični dosežek z 4 bilijoni tranzistorjev, izdelanih s pomočjo naprednega procesa proizvodnje velikosti 5 nm podjetja TSMS. Opremljen je s kar 900.000 jedri za umetno inteligenco, kar zagotavlja neprekosljivo računsko moč. Poleg tega čip vključuje 44GB vgrajenega pomnilnika SRAM, kar dodatno izboljšuje njegovo zmogljivost. S skupno zmogljivostjo 125 FP16 PetaFLOPS je WSE-3 pripravljen za obravnavo najzahtevnejših nalog umetne inteligence.
Eden ključnih namenov uporabe Cerebras WSE-3 je usposabljanje nekaterih največjih modelov umetne inteligence v industriji. V kombinaciji s super računalnikom CS-3 lahko WSE-3 usposobi modele umetne inteligence s kar 24 bilijoni parametrov. Ta pomemben napredek presega zmogljivosti super računalnikov, ki jih poganjajo procesorji prejšnje generacije za umetno inteligenco, s čimer odpira nove meje v raziskavah in razvoju umetne inteligence.
CS-3 super računalnik ne izkorišča le ogromne moči WSE-3, temveč ponuja tudi še nikoli dosežene ravni prostorske zmogljivosti. Podpira do 1,2 PB zunanjega pomnilnika, kar omogoča shranjevanje masivnih modelov v enem samem logičnem prostoru brez potrebe po razdeljevanju ali preoblikovanju. Ta poenostavljen pristop k usposabljanju odpravlja nepotrebno kompleksnost, izboljšuje učinkovitost razvijalcev in olajšuje preboje na področju umetne inteligence.
Ena ključnih značilnosti CS-3 super računalnika je njegova skalabilnost. Lahko se konfigurira v skupine do 2048 sistemov, kar zagotavlja izjemno prilagodljivost in ogromno računsko moč. S to skalabilnostjo lahko CS-3 model prefini 70 milijard parametrov v samo enem dnevu s štirimi sistemi. Poleg tega je sposoben usposobiti model Llama 70B v enakem časovnem okvirju, kar kaže na impresivne zmogljivosti tudi v celotnem obsegu.
Najnovejši Cerebras Software Framework, skupaj s CS-3, omogoča naravno podporo za PyTorch 2.0 in dinamično ter neprestrukturirano redkost. Te lastnosti pospešujejo hitrost usposabljanja do osemkrat hitreje kot tradicionalne metode, s čimer še dodatno utrdijo vodilni položaj Cerebras-a na področju tehnologije umetne inteligence.
Učinkovitost porabe energije in enostavnost uporabe sta še dve izstopajoči lastnosti CS-3. Kljub dvojni zmogljivosti v primerjavi s predhodnikom CS-3 ohranja enako porabo energije. Ta optimizacija zagotavlja, da je super računalnik Cerebras tako energetsko učinkovit kot okolju prijazen. Poleg tega CS-3 poenostavlja usposabljanje velikih modelov jezikov, kar močno zmanjša potrebno količino kode. Po besedah Cerebras-a usposabljanje modela velikosti GPT-3 na njihovi platformi zahteva le 565 vrstic kode, kar je znatno manj v primerjavi z grafičnimi procesorji.
CS-3 je že pritegnil veliko zanimanje v več sektorjih, vključno s podjetji, vladami in mednarodnimi oblaki. Cerebras je pridobil obsežno rezervacijo naročil, kar poudarja široko razširjeno povpraševanje po tej najsodobnejši tehnologiji. Sodelovanja z uglednimi institucijami, kot so Nacionalni laboratorij Argonne in Mayo Clinic, dodatno poudarjajo potencial CS-3 na področju zdravstva in drugih ključnih panogah.
Poleg tega je Cerebras sklenil partnerstvo z G42 za izgradnjo AI super računalnika Condor Galaxy 3, ki bo vključeval 64 CS-3 sistemov. Skupaj sta Cerebras in G42 že razvila dva največja AI super računalnika na svetu, Condor Galaxy 1 (CG-1) in Condor Galaxy 2 (CG-2). Ti super računalniki, locirani v Kaliforniji, se ponašajo z združeno zmogljivostjo 8 ExaFLOPs. Partnerstvo si prizadeva za dostavo desetin exaFLOP računske moči na globalni ravni, kar dokazuje ogromen potencial za napredek na področju umetne inteligence.
V zaključku lahko rečemo, da Cerebras Systems WSE-3 predstavlja pomemben napredek na področju tehnologije umetne inteligence. Njegova neprekosljiva zmogljivost, energetska učinkovitost in skalabilnost ga naredijo za prelomno orodje za raziskave, razvoj in izvajanje umetne inteligence. Cerebras nadaljuje s pionirskimi inovacijami, kar pomeni, da so možnosti za uporabo umetne inteligence pripravljene doseči nove višave.
The source of the article is from the blog tvbzorg.com