Prototypesystem for lakseoppdrett med fokus på sensor-fusjon

Les også:

Masteroppgave om multisensor datainnsamling i fiskemerder

Hvert år mottar en verdig vinner pris for beste masteroppgave innen mikro- elektronikkonstruksjon ved Institutt for elektroniske systemer (IES), Norges teknisk-naturvitenskapelige universitet (NTNU).

Her er sykdom på fisken, bruk av kjemikalier, rømming og generelle dyrevelferdsbekymringer vært gjentakende saker. I akvakulturforskriften er det flere punkter som spesifiserer at daglig drift av akvakulturanlegg skal ivareta fiskens helse og velferd. Gitt at oppdrettsmerder ofte har en omkrets på 160 meter, er 40 meter dyp, og alt dette åpenbart er under vann, så er det aldeles ikke en enkel oppgave å påse at opptil 200 000 fisker er friske og har det bra. Dette er en oppgave som kun kan løses med avansert teknologi.

Sensorløsninger i oppdrett

På de fleste oppdrettsanlegg kan man finne flere undervannskamera for manuell overvåkning, sensorer for å måle akvatiske parametere og ekkolodd som gir overordnet informasjon, som dybdefordeling på laksen over tid. I tillegg fins det et utvalg avanserte kamerasystem med høy oppløsning som brukes til å detektere lakselus, skader eller estimere biomasse (laksens vekt) ved bruk av stereo-kamera og datasyn (kunstig intelligens tilpasset til bilder/video).

Det er tydelig at det florerer av høyteknologiske løsninger spesialdesignet for å brukes i oppdrettsindustrien, men en fellesnevner i de fleste tilfeller er at disse systemene er solgt som enkeltløsninger fra forskjellige leverandører. Det er ikke unormalt at ekkoloddet er solgt av en annen leverandør enn de som distribuerer kameraene, og sensorene de har hengene i/rundt merden er fra en tredje produsent. I tillegg er det kanskje en fjerde leverandør som står for integrasjonen av alle sensorene, og totalpakken er en drøss med forskjellige integrasjoner med hver sin høye kjøpspris. Dette kan føre til økte vedlikeholdsrutiner og vanskeligere operasjoner når det er et stort antall separate system montert på forskjellige steder i merd-volumet.

Precision Fish Farming

Precision Fish Farming ideologien ble presentert i en artikkel skrevet av Martin Føre (m.f.) ved Institutt for teknisk kybernetikk (NTNU) i 2017. Precision Fish Farming tar for seg et kybernetisk tankesett rundt fiskeoppdrett, der man bruker en kombinasjon av sensordata for å optimalisere driften, både økonomisk og biologisk, og tilse at de iboende problemene i oppdrettsindustrien ikke skaleres likt med økt produksjonsvolum i fremtiden.

Det er fortsatt normalt at oppdretterne bruker subjektive vurderinger og erfaringsbasert informasjon til å ta relativt viktige valg under daglig drift. Her kan det, for eksempel, være en oppdretter som ser på en kamerastrøm som vurderer om fiskene er mette eller ikke basert på hvordan de svømmer og oppfører seg. Ved å ta i bruk avansert teknologi, og på rett måte, vil oppdrettsnæringen i fremtiden være i stor grad autonom og mindre avhengig av subjektive vurderinger under daglig drift.

Denne artikkelen omhandler designet av Fish-farm Integrated Sensor Cluster (FISC). FISC er en system-prototype rettet mot Precision Fish Farming-ideologien. Arbeidet med å designe, utvikle og teste dette systemet ble utført i forbindelse med masteroppgaven jeg skrev i våren 2022, under masterprogrammet Electronic Systems Design på NTNU ved Institutt for elektroniske system. Det er muligens åpenbart, men et produkt som skal kunne være en komplett sensor-løsning for oppdrettsnæringen er på ingen måte noe som kan fullverdig utføres av en student som skriver masteroppgave. Derfor er det viktig å nevne at mitt arbeid er en stor forenkling av et slikt system. Hovedfokuset var å benytte fusjon på flere enkelt-sensorer i et forsøk på å frembringe nyttige data som ga mere informasjon enn sensorene gjør hver for seg. I tillegg vil man da kunne forstå om den valgte kombinasjonen av sensorer er passende å bruke i en lignende løsning i fremtiden.

Systemdesign

FISC-systemet består av 3 komponenter: Kontrollskapet, kabelen og kapselen.

For å innhente data fra fisken inneholdte FISC-kapselen 8 ekkolodd-mottakere rundt omkretsen på kapselen og et kamera. Kameraet var sentrert over én av ekkoloddene.

For å hente inn miljødata ble en temperatur og oksygen-sensor installert i bunnen av kapselen. Et selvutviklet kretskort var også installert i kapselen. Dette kretskortet hadde en tilt-sensor med magnetkompass og en analog forsterker for å forsterke de akustiske ekkoene fra fisken.

En ettkortsdatamaskin (Raspberry Pi) ble brukt som kontroll-enhet i kapselen. Denne styrte hvilke sensorer data skulle hentes fra basert på meldinger mottatt fra datamaskinen i kontrollskapet. Programvare skrevet i Python styrte det aller meste i systemet, der data fra alle sensorer ble lagret lokalt på datamaskinen i kontrollskapet.

Kontrollskapet var egnet til å monteres på merdkanten, og inneholdte en kompakt datamaskin samt en 4G-mottaker slik at man kunne kontrollere systemet eksternt. Et USB-oscilloskop ble brukt som digitaliseringsenhet for den akustiske dataen. Kabelen som går fra skapet og ned til kapselen inneholdte en liten akustisk sender som skyter ut lyd som en horisontal skive for å få akustisk data (ekko) fra fisk som svømmer i samme dybde som kapselen.

Databehandling og sensor-fusjon

Det integrerte kameraet var sentrert over ett av ekkoloddene slik at jeg kunne ekstrahere dybdeinformasjon i bilder/video. Dybdeinformasjon trengs for å estimere størrelse og svømmehastighet på objekter. Jeg trente først en datasynmodell til å detektere fisk, der bilder av laks innhentet under den første storskalatesten av FISC-systemet hos Sinkaberg Hansen i Rørvik ble brukt. Deretter benyttet jeg en algoritme for digital følging av objekt i video (Deep Sort) for å kunne danne bildesekvenser der hver laks i en video automatisk får tildelt en egen digital ID-tag. Denne informasjonen ble prosessert parallelt med akustisk data slik at programvaren valgte en optisk fulgt fisk og linket denne med et akustisk ekko som mest sannsynlig kom fra den samme fisken. Deretter ble denne fusjonerte informasjonen brukt til å estimere 3D-koordinat til fisken i fokus, oppgitt i meter relativt til kapselen. Denne beregningen baserte seg på geometrisk kombinasjon av akustisk avstand og pixel-koordinatene til fiskens senter-punkt. Når den relative 3D-posisjonen til fisken var estimert, beregnet programvaren størrelsen til fisken ved å se på pixel-størrelsen på boksen som er rundt den. Svømmehastigheten ble beregnet ved å bruke forandringen i 3D-posisjon som fisken med samme ID-tag hadde hatt over et kort tidsintervall (tiden mellom hvert akustisk ping).

Dataen fra de syv andre ekkoloddene kunne bli brukt for å se på trend-basert forandring av hvor mye fisk som er i samme dyp som kapselen, men dette ble ikke prioritert i masteroppgaven.

Vanntemperatur og oksygeninnhold ble også fusjonert i databehandlingen. Jeg lagde to matematiske funksjoner basert på enkeltvis definerte terskel-verdier som i forskning er presentert som dårlig, tilstrekkelig og god for velferd til laks. Disse ble matematisk kombinert til en matrise som sier noe om den samlede vannkvaliteten.

Data fra tilt-/ og magnetkompass-sensoren ble brukt til å beregne i hvilken kompass-retning kapselen tiltet mot, slik at man kunne estimere havstrømsretning. Dette kunne være nyttig for å minimere utslipp ved å øke formengden mot strømmen, slik at minst mulig forsvinner ut av merden.

FISC-systemet ble plassert i en oppdrettsmerd drevet av Salmar og Sintef (Rataren, Frøya), der data fra denne testen ble benyttet i masteroppgaven.

Resultat

På grunn av antallet fisk som til tider svømte veldig nært systemet så var det i mange tilfeller vanskelig å differensiere ekkoene fra hver enkelt fisk, men dette var forventet. I løpet av noen timer data var det uansett mange tilfeller som ga realistiske estimat på både størrelse og svømmehastighet. Dermed så ville man under kontinuerlig operasjon av systemet få data som kunne brukes til å ha oversikt over generelle trender over timer/dager.

Det er uansett viktig å være klar over begrensningene til denne implementasjonen. Datasyn-modellen var trent på kun 184 bilder, som gjorde at boksene som ble generert rundt laksen hadde varierende presisjon. Derfor ble det konkludert at dette fusjon-prinsippet av akustikk og video i seg selv fungerer, men krever videreutvikling for å øke nøyaktigheten.

Kombinasjonen av de akvatiske miljøsensorene gjorde det mulig å gi en objektiv totalverdi på vannkvaliteten. Det som krever videre arbeid er forskning som bedre kvantiserer vektingen og de samlede velferds-idealverdiene for vanntemperatur og oksygeninnhold. I denne oppgaven var det jeg selv som valgte å vekte de likt for å presentere fusjons-prinsippet.

Dataen for å estimere retningen til havstrømmen ble i ettertid korrelert med historisk data, der det ikke var en tydelig overensstemmelse. Årsaken til dette var trolig at systemet ikke var plassert i senteret av merden under testen, men heller midt i radien av merden. Det er dette området det er størst tetthet av fisk, som gjorde at systemets helling var sterkt påvirket av store antall laks som alltid svømte i dette området. Måleprinsippet er dog gyldig, men systemet burde helst vært plassert i senter av merden for å bedre bedømme brukbarheten av denne informasjonen.

Alt i alt så fungerte systemet som det skulle, og fusjonsprinsippene som ble benyttet viste lovende resultat. Masteroppgaven ble finansiert av og skrevet i samarbeid med Norbit. Kompetansen man finner innen elektronikk og undervannsakustikk der var til stor hjelp under utviklingen av systemet.

For å lese en mye mer detaljert beskrivelse av systemdesignet, programvaren og resultatene, se publikasjonen i følgende lenke: https://ntnuopen.ntnu.no/ntnu-xmlui/handle/11250/3016406