Tar AI på alvor

Selv om den menneskelige hjerne fortsatt er overlegen dagens silisium når det kommer til prosessering av ”intelligente algoritmer”, noe den for øvrig gjør med et effektforbruk på skarve 13W, gjør Cadence nå et forsøk på å bedre tallene for silisium.

Kunstig intelligens

Den nye Cadence Tensilica DNA 100 prosessor-IPen skal være den første AI prosessorakseleratoren for dype nevrale nettverk (DNA) som leverer både høy ytelse  og energieffektivitet over et prosesseringsområde som spenner fra 0,5 TeraMAC (TMAC) til hundrevis av TMAC.

AI på en brikke?

– De fleste AI inferenser er i skyen, sier produktansvarlig Lazaar Louis. Hvorfor så AI på en brikke? – Det  er flere gode grunner til det. Blant annet krav til lav forsinkelse – som naturlig dialog i taleassistenter, som krever mindre enn 200 ms forsinkelse, samt sanntids avgjørelser i biler, roboter osv. Konnektivitet og privatliv er andre gode grunner, sier han.

Innebygd AI

Han nevner flere eksempler på innebygd AI inferens i nye produkter, som for eksempel MediaTek Helio P60 – med AI-akselerert ansiktsgjenkjenning. Løsningen skal kunne detektere ansikter kontinuerlig, og uten at ansiktet er vendt mot kamera. Samtidig blurres bakgrunnen og annen ”unødvendig informasjon” i sanntid.

Skalerbar

Det er mange markedsmuligheter for prosessor-IPen, ifølge Louis;  Innenfor IoT (<0,5 TMAC), mobil (o,5 – 2 TMAC)AV/VR (1-4 TMAC), smart overvåking (2-10 TMAC) og autonome biler (10-100 TMAC). – Vi ser at behovet for innebygd AI-prosessering øker, sier han. – Skal maskiner og biler ”forstå” mer av omgivelsene, kreves det raskere prosessering og høyere kapasitet.

Sparsitet

Nevrale nettverk er gjerne karakterisert ved sin naturlige sparsitet for både vekting og aktiveringer, noe som forårsaker at MACer i andre prosessorer forbrukes unødvendig gjennom lasting og multiplisering av nuller. Den spesialiserte maskinvaremotoren i DNA 100 skal eliminere begge deler, slik at sparsiteten kan anvendes for energieffektivitet og redusert prosesseringsbehov.

Optimalisert

Gjenopplæring av nevrale nettverk bidrar til å øke sparsiteten i nettverkene, og oppnå optimal ytelse fra DNA 100s sparse prosesseringsmotor. Dette gjør prosessoren i stand til å optimalisere kapasiteten med en mindre matrise, som Louis mener er bevist gjennom evnen til å oppnå opp til 2.550 rammer i sekundet (fps) og opp til 3,4 TMAC/watt (i 16 nm prosess) estimert innebygd inferensytelse på ResNet for en 4K MAC konfigurasjon.

Støtte for rammeverk

Den nyeste versjonen av Tensilica Neural Network Compiler tilbyr videre støtte for avanserte AI rammeverk, som Caffe, TensorFlow, TensorFlow Lite, og et bredt spekter av nevrale nettverk, inkludert konvolusjons- og gjentagende nettverk (recurrent). Dette skal gjøre IPen egnet for en rekke anvendelser, som visjon, tale, radar, lidar, og kommunikasjon. DNA 100 støtter også Android Neural Network (ANN).

Glow

Cadence støtter forresten nå en ny, samfunnsdrevet tilnærming: Facebooks Glow, en åpen-kildebasert maskinlæringskompilator basert på LLVM. Gjennom Glow-plattformen vil man støtte flere rammeverk, opplyser Louis.