V závodě o zrychlení umělé inteligence společnost Cerebras ze Silicon Valley zvolila neobvyklou strategii: Go big.
Zatímco typický počítačový čip má velikost nehtu, Cerebras' čip je velikost talíře.
Deep learning, technologie AI, která napájí hlasové asistenty, samořiditelná auta a šampiony Go, spoléhá na složitou&„neuronovou síť &“; software uspořádaný ve vrstvách. Hluboké vzdělávací systémy mohou běžet na jediném počítači, ale největší systémy jsou rozmístěny na tisících připojených strojů, někdy ve velkých datových centrech, jako jsou ta, která provozuje Google. Ve velkém clusteru se až 48 serverů velikosti pizza-boxu zasouvá do stojanů vysokých pro jednoho člověka; Police jsou seřazeny v řadách a vyplňují budovu o velikosti skladu. Neuronové sítě v těchto systémech mohou vyřešit skličující problémy, ale také čelí zjevným výzvám. Síť, která se množí v klastru, je jako mozek roztroušený po místnosti a propojený dohromady. Elektrony se pohybují rychle, ale i tak je komunikace napříč čipy pomalá a spotřebovává mnoho energie.
Eric Vishria, generální partner San Francisco venture capital firmy Benchmark, si poprvé uvědomil problém, když slyšel Cerebras Systems, novou společnost vyrábějící počítačové čipy, mluvit na jaře 2016. Benchmark je známý jako raný investor ve společnostech jako Twitter, Uber a ebay - tedy v softwaru, ne v hardwaru. Společnost se podívá na zhruba 200 start-upů ročně a investuje do jednoho." Hráli jsme tuto hru líbání tisíce žab," Vishria mi to řekla. Na začátku své řeči se rozhodl hodit žábu zpět." Říkal jsem si, proč jsem s tím souhlasil?" Nebudeme investovat do hardwaru, vzpomněl si na myšlení." Je to' je to hloupé."
Spoluzakladatel společnosti Cerebras Andrew Feldman začal krytem snímku svého týmového snímku a upoutal pozornost Vishria' jeho talent byl působivý. Feldman poté porovnal dva typy počítačových čipů. Nejprve se podíval na jednotky pro zpracování grafiky neboli Gpus - čipy určené speciálně pro vytváření 3D obrázků. Dnešní systémy strojového učení' spoléhají na tyto grafické čipy z různých důvodů. Dále se podíval na centrální procesorové jednotky neboli cpus, univerzální čipy, které na běžném počítači odvedou většinu práce." Třetí snímek byl o' Gpus,' které jsou ve skutečnosti špatné pro hluboké učení - jsou náhodou stokrát lepší než cpus." Společnost Cerebras přišla s novým typem čipu, který není určen pro grafiku, ale speciálně pro umělou inteligenci.
Vishria je zvyklá poslouchat názory společností, které plánují využít hluboké učení v oblasti kybernetické bezpečnosti, lékařského zobrazování, chatbotů a dalších aplikací. Po proslovu Cerebras&hovořil s inženýry ve společnostech financovaných společností Benchmark, včetně Zillow, Uber a Stitch Fix; Řekli mu, že mají problémy s AI, protože&„trénovat &“ trvalo příliš dlouho; neurální síť. Google začal používat superrychlé jednotky&„tensor processing, &“; nebo Tpus, speciální čipy určené pro UMĚLOU inteligenci. Vishria věděla, že probíhá zlatá horečka a někdo musí udělat krumpáče a lopaty.
Ten rok vedly Benchmark a Foundation Capital, další společnost rizikového kapitálu, 27 milionů dolarů financování společnosti Cerebras, která získala téměř 500 milionů dolarů. Ostatní společnosti také vyrábějí takzvané urychlovače umělé inteligence; Cerebras' konkurenti groq, Graphcore a Sambanova mezi sebou získali kapitál více než 2 miliardy dolarů. Ale Cerebras' přístup je jedinečný. Místo toho, aby společnost tiskla desítky oplatek na velký kus křemíku, odřízla je a vzájemně spojila, vytvořila společnost obrovskou&"úroveň oplatky &"; čip. Zatímco typický počítačový čip má velikost nehtu, Cerebras je velký asi jako talíř a je největším počítačovým čipem na světě.
I konkurenti považovali tento čin za působivý." Toto je nová věda," Řekl mi to Nigel Toon, generální ředitel a spoluzakladatel Graphcore'." Je to' je to neuvěřitelné inženýrství. Je to' je to mistrovské dílo." Mezitím další inženýr, se kterým jsem hovořil, to popsal jako vědecký projekt - velký pro dobro' V minulosti se společnost pokoušela vyrábět obří čipy bez úspěchu; Cerebras' plán je sázkou na to, že překonání technických výzev je možné a stojí za to." Abych byl upřímný, pro mě je nevědomost výhodou," Řekla Vishria." Nevím' nevím, kdybych věděl, jak těžké je dělat to, co dělají, měl bych odvahu investovat."
Je samozřejmé, že počítače jsou stále rychlejší. To je často vysvětleno Mooreovým zákonem: vzor zavedený v roce 1965 průkopníkem polovodičů Gordonem Moorem, podle kterého se počet tranzistorů na čipu zdvojnásobuje každý rok nebo každé dva roky. Moorův zákon samozřejmě není zákon a inženýři neúnavně pracují na zmenšování tranzistorů a současně vylepšují architekturu &; každého čipu k vytvoření efektivnějších a výkonnějších návrhů.
Architekti čipů se dlouho zajímali, zda by jeden velký počítačový čip mohl být efektivnější než hromada menších čipů, stejně jako město s koncentrovanými zdroji a hustými bloky je efektivnější než předměstí. Myšlenka byla poprvé vyzkoušena v šedesátých letech minulého století, kdy společnost Texas Instruments omezila výrobu čipů o šířce několika palců. Inženýři společnosti' ale narazili na problémy s výnosem. Na jakémkoli křemíkovém plátku výrobní vady nevyhnutelně ohrožují určitý počet obvodů. Pokud oplatka obsahuje 50 žetonů, může společnost vyhodit ty špatné a prodat ty dobré. Pokud by ale každý úspěšný čip závisel na pracovních obvodech jediné oplatky, mnoho drahých oplatek by bylo vyřazeno. Společnost Texas Instruments našla řešení, ale technologie a potřeba ještě neexistovaly.
V 80. letech minulého století se inženýr jménem Gene Amdahl pokusil znovu vyřešit problém se společností, kterou založil, s názvem Trilogy Systems. Stalo se největším start -upem v historii Silicon Valley' s financováním přibližně 250 milionů dolarů. Aby Trilogy vyřešil problém s výtěžností, vytiskl na čip nadbytečné komponenty. Tato metoda zvyšuje produkci, ale snižuje rychlost čipu. Mezitím Trilogy bojuje jinými způsoby. Amdahl přejel se svými roly Royce motocyklistu, což způsobilo právní potíže; Jeho prezident zemřel na nádor na mozku; Silné deště zpozdily výstavbu továren, rezavějící klimatizační systémy a shromažďování prachu na čipech. V roce 1984 to Trilogy vzdalo." Neuvědomil jsem si' neuvědomil jsem si, jak těžké to bude," The Amdahl' syn řekl The Times.
Pokud je technologie Trilogy' úspěšná, mohla by být nyní použita pro hluboké učení. Místo toho Gpus (čipy používané ve videohrách) řeší vědecké problémy v národních laboratořích. Opětovné použití gpus pro AI závisí na skutečnosti, že neuronové sítě, přestože jsou velmi složité, spoléhají na mnoho násobení a přidávání. Když&"neurony &" navzájem se v síti navzájem zesilují nebo snižují signály' vynásobí je koeficienty nazývanými váhy připojení. Účinný procesor AI bude počítat mnoho aktivací souběžně; Kombinuje je do řady čísel nazývaných vektory nebo mřížky čísel nazývaných matice nebo do bloků vyšších dimenzí nazývaných tenzory. V ideálním případě chcete znásobit jednu matici nebo tenzor druhou najednou. Gpus jsou navrženy tak, aby dělaly něco podobného:
& quot; Stín trilogie je tak velký," Feldman mi nedávno řekl &, že lidé přestanou přemýšlet a začnou říkat:' To' je nemožné.'" Společnosti využívající GPU, včetně Nvidie, využily příležitosti přizpůsobit své čipy pro hloubkové učení. V roce 2015 začali Feldman a skupina počítačových architektů diskutovat o myšlence větších čipů poté, co spoluzaložili výrobce počítačových serverů Seamicro, který prodali výrobci čipů AMD za 334 milionů dolarů. Na této záležitosti pracovali čtyři měsíce v kanceláři vypůjčené od firmy rizikového kapitálu. Když měli nástin životaschopného řešení, hovořili s osmi společnostmi; Získal financování od Benchmark, Foundation Capital a Eclipse a začal najímat.
Cerebras' prvním úkolem je vyřešit výrobní problémy, které trápí velké čipy. Čip byl původně válcovým ingotem krystalického křemíku o průměru asi stopu a ocelový ingot byl rozřezán na oplatky o tloušťce méně než milimetr. Obvod je potom&"; tištěný &"; na oplatku procesem zvaným litografie. Chemikálie citlivé na Uv jsou pečlivě naneseny na povrch a poté je paprsek UV světla promítnut podrobnou šablonou nazývanou maska. Tyto chemikálie reagují za vzniku obvodů.
Z oblasti pokryté světlem promítaným maskou se obvykle stává čip. Poté se čip pohne a světlo se opět promítne. Poté, co byly vytištěny desítky nebo stovky čipů, jsou laserem vyříznuty z oplatky." Nejjednodušší způsob, jak to udělat, je, když vaše máma vyndá kulaté těsto na sušenky," Řekl Feldman.&"Má formu na sušenky a sušenky opatrně krájí." Fyzikální a optické zákony znemožňují výrobu většího vykrajovátka. V důsledku toho jsme&vyvinuli technologii, která vám umožní komunikovat prostřednictvím malého těsta mezi dvěma cookies."
V tiskovém systému Cerebras vyvinutém ve spolupráci s TSMC, společností, která vyrábí čip, se okraje cookies překrývají, takže jsou jejich dráty propojeny. Výsledkem je jediná&"velikost oplatky &"; oplatka, čtverec měděné barvy a 21 cm na každé straně. (Největší Gpus má o něco méně než 3 cm v průměru.) Cerebras vyrobil svůj první čip, Wafer-scale Engine 1, v roce 2019. Wse-2, představený letos, používá hustší obvod, s 2,6 biliony tranzistorů zabalenými do 850 000 procesorových jednotek nebo&"jádra &". (Top Gpus má jen několik tisíc jader, zatímco většina cpus má méně než 10.)
& „2,6 bilionu tranzistorů je ohromujících, &“; řekl Aart de Geus, předseda představenstva a generální ředitel společnosti Synopsys. Společnost Synopsys poskytuje software, který Cerebras a další výrobci čipů používají k výrobě a ověřování svých návrhů čipů. De Geus říká, že při navrhování čipů musí inženýři nejprve zvážit dvě základní otázky:&„Odkud data pocházejí?" Kde se to řeší?" Když byly čipy jednodušší, mohli designéři na tyto otázky odpovědět tužkou na rýsovacím stole; Při práci s dnešními složitějšími čipy' zadejte kód, který popisuje architekturu, kterou chtějí vytvořit, a poté přejděte k nástrojům pro vizualizaci a kódování." Zamyslete se nad tím, jak dům vypadá ze střechy," řekl de Geus." Je garáž poblíž kuchyně? Nebo je to blízko ložnice? Chcete to blízko kuchyně - jinak budete muset' nosit potraviny každým rohem domu." Poté, co navrhl půdorys, vysvětlil:&"; pomocí rovnic můžete popsat, co se děje v místnosti."
Složitost designu čipů je ohromující." Je zde mnoho vrstev," řekl de Geus s okruhy protnutými a navrstvenými na sebe, jako hlavní dálniční nadjezd. Pro inženýry Cerebras, pracující na měřítku oplatky, je složitost ještě větší. Synopsys' software pomáhá ve formě umělé inteligence: algoritmy shody vzorů identifikují běžné problémy a navrhují řešení; Program optimalizátoru posouvá místnost k rychlejšímu a efektivnějšímu uspořádání. Pokud se do dvoublokové budovy pokusí vklouznout příliš mnoho jízdních pruhů, software dovolí technikům zahrát si na Roberta Mosese a přesunout blok.
Nakonec Feldman říká, že návrhy nadměrných čipů mají několik výhod. Když jsou jádra na stejném čipu, komunikují rychleji: mozek počítače' je nyní soustředěn spíše do jediné lebky, než aby byl rozptýlen po místnosti. Větší čipy také lépe zvládají paměť. Malý čip připravený ke zpracování souboru obvykle musí nejprve získat soubor z čipu sdílené paměti umístěného jinde na desce s obvody; Blíže k domovu jsou ukládána do mezipaměti pouze nejčastěji používaná data. Při popisu účinnosti žetonů na úrovni oplatky nabídl Feldman analogii: Požádal mě, abych si představil skupinu spolubydlících (jádro) žijících na koleji (čip), kteří by se chtěli dívat na fotbalový zápas (pracovat na počítači). Aby mohl hru sledovat, říká feldman, spolubydlící potřebují skladovat pivo v lednici (data se ukládají do paměti); Cerebras uchovává ledničku v každém pokoji, takže spolubydlící nemusí riskovat, že půjdou do společné kuchyně nebo do Safeway na koleji' To má další výhodu v tom, že umožňuje každému jádru zpracovávat různá data rychleji." Abych mohl mít Buda na pokoji na koleji," Řekl Feldman." Ve své koleji můžete mít Schlitze."
Nakonec musí Cerebras překonat problémy s výnosem. Inženýři společnosti' používají trik Trilogy' trik: nadbytečnost. Tady ale mají oproti svým předchůdcům výhodu. Trilogy se snaží vyrábět generické čipy s mnoha různými součástmi, takže zapojení kolem jedné vadné součásti může vyžadovat připojení ke vzdálené náhradě. Na cerebrách' čip, všechna jádra jsou identická. Pokud je jedna sušenka špatná, ty kolem ní jsou stejně dobré.