Intelligent kamera strømmer breddeidrett

Det er oppstartsfirmaet Joymo AS som har tatt frem løsningen som åpner for at små og store klubber kan selge digitale billetter og sesongkort til alle slags aktiviteter på hjemme- bane. En tidlig versjon ble lansert i fjor. Nå er de klare med en ny versjon for masseproduksjon.

Bildebehandling
Det nye, intelligente kamerasystemet er utviklet i samarbeid med maskinvaremiljøet på StartupLab i Forskningsparken i Oslo. Ingen kameramann er påkrevet: Avansert bildebehandling sørger for at kameraet selv finner ut hvor det er aktivitet i et bredt panoramabilde, og plukker ut denne delen av bildet for strømming. Seeren vil dermed i praksis få inntrykk av at en kameramann følger spillet manuelt. Panoramabildet skapes av tre kamera montert i forskjellige vinkler slik at de dekker hele banen. Resultatet kan streames, redigeres eller analyseres av trenere.

Ut-av-boksen
Ifølge teknisk sjef i Joymo, Håkon Steinbakk, oppstod idéen da den litt over middels håndballinteressert gründeren opplevde at mange foreldre var interessert i å få kopier av videoopptak han hadde gjort fra kamper. – Han så at det kunne ligge en markedsmulighet her, forteller Steinbakk. Noen idrettslag overfører gjerne arrangementer på youtube – men så snart de ligger der, har man også mistet rettighetene til innholdet. Med en komplett backofficeløsning med apper, betalingsløsning, skytjenester og strømming blir det enkelt for brukerne å ta denne tjenesten i bruk – så å si rett ut av boksen.

Heftig maskinvare
– Det er rett og slett et heftig stykke maskinvare vi har tatt frem for denne løsningen, mener Steinbakk. Rådgiver Børge Strand-Bergesen ved Hardwarelaben i Forskningsparken er hovedpersonen bak utviklingen av selve hovedkortet med integrerte kamera, grafikkprosessor, kommunikasjon og kraftforsyning.  – I tillegg er det gjort en stor jobb med programvaren og skyløsningene som går i bakgrunnen, og som gjør dette til et komplett produkt, fremholder han.

AI-prosessering
«Motoren» i systemet er en Nvidia Jetson TX2 grafikkprosesseringsmodul. Denne er regnet som den raskeste og mest energieffektive innvevde prosesseringsenheten med kunstig intelligens (AI) på markedet.  Vi snakker om en 7,5 W superdatamaskin i én modul, som tar AI-prosessering helt ut i «nettverkskanten». Den er bygget rundt en Nvidia Pascal GPU og har bl.a. 8GB minne og en oppgitt minnehastighet på 59,7 GB/s.

God takhøyde
 – Denne modulen er relativt sett dyr, men samtidig ikke «for dyr», sier Steinbakk. – Den gir en helt rå ytelse, samtidig som det er mulig å oppgradere ytelsen i produktet ytterligere, uten å endre designet, understreker han. Dette er med på å holde engangskostnadene nede, samtidig som man åpner for senere utvidelser.

Designgrep
Strand-Bergesen har fått rikelig bruk for sin erfaring med ulike elektronikkdesign, inkludert lydproduktene (DACer) fra sitt eget firma Henry Audio AS. Blant annet er mønsterkortet designet med noen snedig utsparrede S-former, som gjør at to av de tre linseholderne kan vris og fjæres uten at mønsterkortet (standard FR4) stresses. – Dette grepet sparte oss for å ta i bruk fleksikort, noe som ville fordyret og forsinket prosjektet, forteller Strand-Bergesen. – Når man har designet så mange kort som jeg har, er det lov å «bryte reglene» litt. Hvis man bare vet hvordan, ler han.

Åpen for forslag
Den store brukergruppen innledningsvis vil nok være breddeidretten – i hvert fall når korona-tiltakene lettes litt. Men Joymo er åpen for andre anvendelser. – I dag benytter vi 3 HD-linser i faste posisjoner. Men det er selvsagt mulig å bruke andre typer linser, som vidvinkel eller tunnellsyn, for andre typer bruk. Kretskortet er designet med konnektorer for linsene, slik at det skal være lett å gjøre produkttilpasninger. Det er også mulig å tilpasse algoritmene i videoprosesseringsplattformen for spesielle behov, sier Steinbakk. – Det er et viktig poeng å se om andre kan ha glede av dette, supplerer Strand-Bergesen.

Intensivt – men smidig
Det har vært et kort, men intensivt utviklingsløp for det nye strømmekameraet. Maskinvareutviklingen startet så sent som i august i fjor, og man er nå allerede på den 5. generasjonen kretskort, som er mer eller mindre klar for å settes i produksjon.
 – Vi bestemte ganske tidlig å kjøre en smidig utviklingsprosess med mange iterasjoner, ettersom erfaring tilsier at det alltid blir endringer underveis, forklarer Strand-Bergesen.

Utviklingsarbeidet ble også parallellisert, slik at utvikling av kretskort, design av mekanikk og skriving av programvare foregikk noenlunde samtidig. Uten meget dyktige «embedded» utviklere som jobbet i parallell ville man ikke kommet i mål på den korte tiden.

Én plugg for alt
I starten brukte man en kombinasjon av flere utviklingssett, som deretter ledet til utvikling av en første versjon kretskort – «Lille Krølle» – som utgjorde en kombinasjon av disse. Senere ble det utviklet og testet en kraftforsyning eksternt, som til slutt ble integrert på hovedkortet. De ulike kortversjonene hadde mengder av forskjellige I/O for fintuning og test, men den endelige versjonen skal bare ha ett grensesnitt i tillegg til WLAN: Ethernet med integrert kraftleder (PoE), av det robuste slaget, for utendørs bruk. Én plugg for alt – nærmest idiotsikkert. Det samme gjelder for mekanikken, ettersom boksen gjerne skal tåle å gå i bakken eller bli truffet av en høyenergetisk ball...

Sensorer
Produktet har selvsagt innebygd mikrofon for å kunne fange opp stemningen i felten. For øvrig inneholder boksen (selvsagt) en masse sensorer, inkludert temperatur, fukt, akselerasjon osv., som gjør det mulig å hente inn mengder av informasjon for mulige analysebehov.

Godt samarbeid
Blant mange designutfordringer opplevdes PoE som lite trivielt:
– Det viste seg bl.a. å være flere ulike versjoner, noe som skapte litt utfordringer med hensyn til kompatibilitet og sertifisering. I tillegg opplevde vi støylekkasjer til PoE-kabelen, så det var mye debugging på et tidspunkt. Men vi har fått mye hjelp til finjusteringer fra Applica, som gjorde pre-
testing for oss. I tillegg har vi et godt samarbeide med Dynamic Precision, som gjør montering og sammenstilling, forklarer Strand-Bergesen.

Hackaton
Bruksområdene kan som nevnt være mange. I Joymo vurderer man å invitere til en «hackaton»-begivenhet for å få frem nye idéer og forretningsmuligheter, men foreløpig må man avvente koronakrisen noe, og få på plass de siste brikkene i løsningen. Per i dag har man ute over 100 testinstallasjoner av «generasjon 2».