Norsk sammenkoblingsteknologi for kunstig intelligens

– Her ser du verdens mest komplekse brikke. Den har over 23 milliarder transistorer i 16 nm silisium, over tusen programmerbare kjerner og yter 120 teraflops (TFLOPS), sier daglig leder Ola Tørudbakken i Graphcore AS, mens han viser frem den skinnende IPUen (Intelligence Processing Unit) som det britiske moderselskapet har tatt frem.

Maskinlæring
Graphcores IPU er skreddersydd for å håndtere kunstig intelligens og maskin læring. I motsetning til andre tilsvarende akseleratorer kan IPUen brukes både til læring og til inferens. Den er støttet av Poplar, et C++ basert grafprogrammeringsrammeverket, som tilbyr et sømløst grensesnitt til standard maskinlæringsrammeverk som Tensorflow, PyTorch, ONNX og MXNet. Uten å gå nærmere inn på det, kan kunnskapsmodeller representeres på en naturlig måte av grafer, og grafer kan representere stor grad av parallellisering.

Nevrale algoritmer
– For 10-15 år siden flatet ytelsesforbedringene for hver prosessorgenerasjon ut. Det betyr at vi har måttet finne nye måter for å øke ytelsen og dermed omgå grensene for Dennard-skaleringen og Moores lov, forklarer Tørudbakken. Dype nevrale algoritmer har eksistert i over 50 år, men først nå er regnekraften i maskinvare blitt tilstrekkelig for å kunne utnytte disse. Det har gitt et skikkelig spark i anvendelsene, og ikke minst utvikling av nye metoder.

IPU
Et problem har vært at tradisjonelle prosessorer ikke er fleksible nok til å gi fullt utbytte av nevrale algoritmer, i tillegg har de båndbreddebegrensninger i kommunikasjon mellom prosessor og minne. Enkelt sagt ble en konvensjonell CPU laget for kontor og forretningsapplikasjoner og en GPU laget for Grafikk. En IPU er laget for maskin intelligens og graf prosessering. Parallelliseringsmulighetene i IPU er massive, med mulighet for over 14.000 uavhengige tråder. Til sammen gir dette en enorm ytelsesforbedring.

Internkommunikasjon nøkkel
Et annet poeng med IPU er de enorme mulighetene for oppskalering. Og her kommer den norske utviklingsavdelingens kunnskaper om rask internkommunikasjonsteknologi inn. Skal man bygge systemer med disse komponentene, skal man ha full kontroll på nanosekundene.

Enorm oppskalering
– Graphcore har laget en unik brikke. Men det er ikke nok med én. Behovet for prosesseringskraft til maskin intellgiens er stort, og den må kunne skaleres opp i enorm skala, forteller Tørudbakken. Sammen med tidligere kolleger startet han for for noen år siden Skala Technologies for å lage en skaleringsplatform for AI prosessorer. Selskapet kom tidlig i kontakt med Graphcore og fusjonerte inn i fjor. Det vi i sin tid gjorde i Sun, med deres enorme HPC systemer, og Oracle, har gitt oss en kunnskap få i verden har, og gjort teamet verdenskjent. Det som ble laget i Norge hadde ord på seg for å være solid, sier han.

Norsk teknologi
I Norge lages nå skalerings platformen som Graphcore bruker internasjonalt. En kortenhet, eller IPU-maskin, omfatter 4 IPU-brikker samt en egenutviklet brikke, foruten standardkomponentene. – Det betyr at vi klarer å levere 0,5 petaflops (PFLOPS) i en ”pizzaeske”, opplyser Tørudbakken. 32 IPU-maskiner kan stables sammen i et rack (16PFLOPS), og 32 rack kan settes ved siden av hverandre (til sammen 0,5 ExaFLOPS!). Kablingen mellom enhetene foregår via 100 Gbps linker.

Vokser
I fjor var norgesavdelingen til Graphcore på 10 personer. Nå er de over 30, og i løpet av året vil de være nesten 50, skal vi tro Tørudbakken. Virksomheten har tatt endelig farvel med ”oppvekstmiljøet” på Skullerud, og har flyttet til Oslo sentrum, der de har sikret seg god plass til videre vekst. – Vi har ansatt folk over hele spekteret, fra maskinvare til ASIC/FPGA, verifikasjon, programvare/innvevd og fastvare, til visualisering, AI og Maskinlæring, og administrasjon/IT. I tillegg har vi utviklet et godt samarbeid med ledende AI forskningsmiljøer som Simula på Fornebu og AI-laben ved NTNU, understreker Tørudbakken.