Fremtiden med ML og AI

Tema for arrangementet var «Embracing the Future: Optimizing Machine Learning and AI in Embedded Systems with Arm Cortex-M55 and Ethos-U55».

Arrow ønsket velkommen og innledet ved FAE i Arrow, Inge Høivik med å fortelle om rollen til en distributør for et elektronikkutviklingsprosjekt.

God veiledning for valg av komponenter i en tidlig fase kan være svært kritisk. Gjøres det uheldige valg i en tidlig fase vil det medføre ekstra kostnad og store forsinkelser senere i prosjektet. Og i verste fall kan man måtte starte helt på nytt med både maskinvare og programvare. Arrow gir helt gratis råd og veiledning, ifølge Høivik. – Hele målet for Arrow er at kunden skal få suksess i markedet med sitt produkt, og vil derfor hjelpe med det de kan for at alt skal fungere og produksjon av endelig produkt kan starte. 

Høivik presiserte viktigheten av å velge mest mulig skalerbare løsninger. F.eks. for AI/ML vil det være viktig å ha nok ytelse til at man får gjort oppgaven, men uten at det koster skjorta og bruker uforholdsmessig mye effekt. Har man valgt en skalerbar løsning kan man øke ytelsen om man ser at det ble litt knapt for utføre ønsket oppgave. Eller så vil det svært ofte være mulig å skalere ned for å spare både kostnad og effektforbruk når man ser nøyaktig hva applikasjonen faktisk krever av ytelse.

God dokumentasjon og support er også svært viktig å sikre at finnes før man investerer for mye i designet. Svært viktig både å kunne ha et dokument å slå opp i for å finne ut hvorfor det er en feil med en driver. Og, enda viktigere, å ha en kontakt man kan gå til om man ikke finner ut av det. Det er svært kostbart om et design blir stående stille over lang tid fordi utvikleren ikke finner ut av hvorfor det ikke fungerer. En distributør som Arrow vil da gi førstelinje support, og guide videre til hjelp fra produsent for mer detaljert hjelp om nødvendig.

Inge Høivik er helt presist såkalt Technology Field Application Engineer hos Arrow, spesialisert på alle typer prosessorer – fra de minste mikrokontrollere til de aller største multikjernesystemer medapplikasjonsprossorer og GPUer.

Sette opp ML-modeller

Louis Moreau fra Edgeimpulse presenterte deres verktøy for å enkelt hjelpe med å sette opp ML modeller, lære opp disse, og føre dem over på target, f.eks. i form av en mikrokontroller (MCU). Det ble vist et «live» praktisk eksempel på talegjenkjenning og opplæring av denne.

Fordelene med å kjøre ML på kanten (Edge) i stedet for i skyene ble presisert: Personvern, rådata lagres ingen steder men blir prosessert lokalt, og kun enkle resultater sendes videre. Båndbredde opp mot skyen reduseres kraftig, som både medfører lavere kostnad for kommunikasjon, lavere kostnad for skyprosessering og lavere effektforbruk på begge sider.

Avhengigheten til hurtig kommunikasjon med sky blir også redusert og man kan gjøre raske actions lokalt. Systemet vil også fungere om det skulle være kort eller langvarig mangel på kommunikasjon.

Modeller kan enkelt bygges opp og testes med Edgeimpulseverktøyet. Mye av modellutviklingen gjøres med visuelle tilbakemeldinger for å se igjennom og visualisere datasettene for å enklere kunne kvalifisere modellen. Verktøyet videre kan overføre koden til de fleste relevante prosessorløsninger for kant-prosessering. Med full kildekode. Og Med full konfidensialitet for hele utviklingsløpet. Det er ikke trivielt å utvilkle en ML applikasjon fra scratch, mange hjelpemidler er nødvendig – og Edgeimpulse kan hjelpe med det aller meste for å komme hurtig til et ferdig produkt, ifølge Louis Moreau, som er er Developer Relations Engineer i Edgeimpulse, basert i Lille, Frankrike.

AI/ML tilleggsprosessor

Markedsdirektør Henrik Flodell fra Alif Semiconductor presenterte Ensemble-porteføljen basert på ARM Cortex M55 og Ethos U55 som integrert AI/ML coprossesor. Familien av produkter er skalerbar fra lavkost enkeltkjerne MCU til applikasjonsprosessor (MPU) med opptil 6 kjerner (2 stk ARM Cortex M55, 2 stk ARM Ethos U55 og 2 stk ARM Cortex A35).

Med Ethos U55 NPU (Neural Processing Unit) er det så dedikerte kjerner for AI/ML applikasjoner at ytelsen lang overgår den kraftigste Raspberry Pi til en brøkdel av effektforbruket og prisen. ARM Helium er støttet i Ensenble og er spesifikt utviklet for å forbedre DSP og ML ytelse sammen medCortex M55. 

Alif er en ganske nystartet leverandør av prosessorer, men har allerede fått godt fotfeste – spesifikt innen maskinlæringsapplikasjoner der strømforbruk og pris er viktig. Har fokusert hele sin produksjon av kretser til å være utenom Kina/Taiwan siden dette er et økende krav fra mange kunder og skaper mer sikkerhet for stabil produksjon fremover.

Selskapet er basert i San Francisco, USA.

Utviklingsverktøy

Joakim Nilsson presenterte svenske Nohau sine verktøy, som også er velegnet for å utvikle og feilsøke applikasjoner innen AI/ML. Effektiv kompilator er en svært viktig del av et AI/ML design.

ARM Keil ble spesifikt trukket frem som en god leverandør for dette, og med Lauterbach TRACE32 støtter multikjerne-systemer fullt ut og fungerer med alle RTOS. Inkluderer blant annet «feil-injiserings» testing for sikkerhetsfunksjoner og for å få til en grundig test av programvaren. 

Nohau demonstrerte videre hvordan man kunne feilsøke en ansiktsgjenkjennings-applikasjon med run-time målinger mens applikasjonen kjører og helt uten å påvirke realtime egenskapene.

Etter presentasjonene var det demonstrasjoner av AI/ML kode som kjørte på forskjellige Alif utviklingskort.