Omkring 900 VME-baserte, såkalte «kasser» (crates) anvendes ved CERN for å styre akseleratorer for ulike eksperimenter.

Gir VME-buss nytt liv i CERN

MEN Mikro Elektronik leverer splitter nye VME prosessorkort til CERN: Gjør VME prosessorkort tilgjengelige til 2032. Og kanskje lenger?

Publisert Sist oppdatert

Denne artikkelen er 2 år eller eldre

MEN har utviklet et helt nytt VME-kort med Intel Xeon D prosessor for CERN. Takket være en FPGA-basert PCIe-VME64x bro basert på åpen kildekode, kan det eksisterende partikkelakseleratorutstyret nå oppgraderes med den nyeste prosessorytelsen og forbli i drift i mange år fremover. Planen er å bruke VME helt til den planlagte utfasingen av LHC i 2032.

Vanskelige spørsmål
CERN er verdens største forskningsanlegg innenfor partikkelfysikk, med en historie som går helt tilbake til 1954. I dag er mer enn 2.500 ansatte og over 12.000 besøkende forskere fra 85 nasjoner engasjert i å forske på byggeblokkene for Universet her. Mest kjent er trolig den 27 kilometer lange Large Hadron Collider (LHC), som ble satt i drift i 2008. Ett av spørsmålene den bidrar til å finne svar på, er hvorfor vårt univers hovedsakelig består av materie, og ikke i likeverdige deler også av antimaterie. Det mest avanserte utstyret brukes til denne og til mange andre oppgaver, og hvert eneste år blir det investert enorme summer i anlegget. Det er også svært viktig å vedlikeholde den eksisterende infrastrukturen for kommende år.

Datainnsamling og akseleratorstyring
Ta for eksempel de tusenvis av såkalte ”crates”, eller ”kasser”,  som er installert i de tallrike partikkelakseleratorene ved CERN gjennom tidene. Disse er implementert i støtteinfrastrukturen til ulike partikkeldetektorer,  og blir vanligvis brukt for trigger-elektronikk og datainnsamling. Kassene har en typisk portbasert konfigurasjon med bakplan og fritt konfigurerbare moduler. Denne type modulbaserte elektroniske systemer er spesielt egnet for bruk i vitenskapelige institusjoner som CERN, ettersom slike modulære systemer gjør det mulig å gjenbruke individuelle kretser mange ganger, og implementere dem i mange systemer og i ulike konfigurasjoner. Så snart et eksperiment er ferdig, blir kassene gjen-brukt til nye eksperimenter i andre konfigurasjoner, noe som sikrer den opprinnelige investeringen på lang sikt.

VME-buss sentral
En av disse kassetypene er basert på VME-bussen, som først ble spesifisert i 1981 og senere er blitt kontinuerlig videreutviklet.  For tiden er mer enn 900 slike kasser i bruk ved selve CERN – primært for å styre akseleratorene. Kasser i ulike konfigurasjoner benyttes for datainnsamling i eksperimentene og detektorene. For eksempel blir de i det såkalte LHCb-eksperimentet brukt til å forhåndsprosessere deler av rådataene fra omkring en million sensorer, slik at forskerne kun mottar de data som er relevante for deres analyser. Andre typer kasser finnes i en rekke andre CERN-detektorer, slik som ATLAS, CMS, ALICE, ISOLDE og TOTEM, der de i noen tilfeller utfører fullstendig annerledes oppgaver, ettersom de – i likhet med andre modulbaserte bakplansystemer – kan anvendes ekstremt fleksibelt.

Nye kasser for nye utfordringer
Ettersom oppgavene endres med hvert eksperiment, utvikles det stadig nye kassekonfigurasjoner, som må tilby det nyeste i prosesseringsytelse. I 2016 ble det bare i akseleratorene satt omkring 50 nye kasser i drift. I tillegg ser MEN allerede at det vil bli installert rundt 200 nye kasser under den planlagte ‘Long Shutdown’ fra 2019 til 2020. Disse skal brukes for å reparere og overhale utstyret fullstendig.

Utgående komponenter en fare
Et problem med VME-baserte systemer er imidlertid at de nye prosessorene i utgangspunktet ikke støtter kommunikasjon over VME-bussen. Prosessorkortene må derfor ha en PCIe-VME64x bro for å kunne danne grensesnitt mot VME-bussen. Imidlertid var diskrete komponenter bare tilgjengelige fra noen få leverandører, der hovedleverandøren i tillegg hadde varslet ”end of life” for den aktuelle komponenten (TSI148). De enorme dimensjonene av dette problemet blir raskt åpenbart når man ser på antallet ettkorts datamaskiner (SBC) med VME-buss som i dag er installert ved CERN: Bare fra MEN Mikro Elektronik finnes det i dag mer enn 900 VME-baserte SBC med Intel® Core Duo og Core 2 Duo installert.

 

Brodiagram: Med introduksjonen av og GPL-lansering av den FPGA-baserte PCIe-VME64x bro til VME-bussen, skal MEN Mikro Elektronik sikre langsiktig tilgjengelighet for VME-baserte kasser, utover deres bruk ved CERN.

Dilemma
Mens dette er anselige antall når det gjelder de avanserte VME-kortene, kan ikke dette volumet alene rettferdiggjøre produksjon av en diskret komponent, kun for dette formålet. Derfor var CERNs såkalte Beams Department/Control Group – forkortet til BE/CO – på utkikk etter bærekraftige alternativer for de kommende årene, gjennom utstedelse av et nytt anbud.

På jakt etter en ny bro
Det ble spesifisert tre mulige opsjoner for PCI/PCIe til VME64x bro. Leverandøren måtte:

  • ha tilstrekkelig lager av TSI148 brikker for å kunne være i stand til å produsere det antall kort som var spesifisert i kontrakten, eller
  • anvende Tundra Universe II, forgjengeren til TSI148, eller
  • bruke FPGA teknologi – i dette tilfellet krevde CERN at anbyderne måtte gjøre de komplette VHDL-kildene for FPGA-designet tilgjengelig gjennom en GPL3-or-later lisens.

FPGA redningen?
Foruten de første to, åpenbare valgene, visste CERN at det fantes selskaper med proprietære implementeringer av VME-broer, gjort i FPGA. For eksempel hadde tidligere generasjoner av SBCer som ble brukt ved CERN (før TSI148-baserte kort) hatt en PowerPC prosessor med en tilknyttet FPGA for å danne grensesnitt mot en VME-buss. Derfor, ved å inkludere den siste opsjonen i anbudsinnbydelsen håpet CERN at minst ett av disse selskapene kunne være klare for å gjøre sin implementering åpen. På den annen side, og for å sikre rettferdig  konkurranse for alle som leverte inn tilbud, la ikke CERN noen preferanser på noen av alternativene. Det endelige valget var basert på prisen på tilbudene som ble levert inn. Til slutt fikk det selskapet som kunne tilby den beste prisen tildelt kontrakten.

Powered by Labrador CMS