DRAM-effektivisering for AI blir åpen kilde

KIOXIA kunngjorde i dag åpen kildekode-utgivelsen av sin nye "All-in-Storage ANNS with Product Quantization" (AiSAQ).

Denne programvaren er en ny "approximate nearest neighbor"-søkealgoritme (ANNS) optimalisert for SSDer, og leverer skalerbar ytelse for gjenfinningsforsterket generering (RAG) uten å plassere indeksdata i DRAM – og i stedet søke direkte på SSDer.

Generative AI-systemer krever betydelige data-, minne- og lagringsressurser. Selv om de har potensiale til å drive transformative gjennombrudd på tvers av ulike bransjer, kommer implementeringen deres ofte med høye kostnader. RAG er en kritisk fase av AI som foredler store språkmodeller (LLMs) med data spesifikke for selskapet eller applikasjonen.

En sentral komponent i RAG er en vektordatabase som akkumulerer og konverterer spesifikke data til funksjonsvektorer i databasen. RAG bruker også en ANNS-algoritme, som identifiserer vektorer som forbedrer modellen basert på likhet mellom akkumulerte vektorer og målvektorer. For at RAG skal være effektiv, må den raskt hente den informasjonen som er mest relevant for en forespørsel.

Tradisjonelt er ANNS-algoritmer implementert i DRAM for å oppnå høyhastighetsytelsen som kreves for disse søkene.

KIOXIA AiSAQ-teknologien skal gi en skalerbar og effektiv ANNS-løsning for milliardskala datasett med ubetydelig minnebruk og raske indeksbyttemuligheter.

Viktige fordeler ved KIOXIA AiSAQ:

• Tillater store databaser å operere uten å måtte stole på begrensede DRAM-ressurser, noe som forbedrer ytelsen til RAG-systemer.
• Eliminerer behovet for å laste indeksdata inn i DRAM, slik at vektordatabasen kan startes umiddelbart. Dette støtter sømløs veksling mellom brukerspesifikke eller applikasjonsspesifikke databaser på samme server for effektiv RAG-tjenestelevering.
• Optimalisert for skysystemer ved å lagre indekser i disaggregert lagring for deling på tvers av flere servere. Denne tilnærmingen justerer dynamisk søkeytelse for vektordatabaser for spesifikke brukere eller applikasjoner og letter rask migrering av søkeforekomster mellom fysiske servere.

KIOXIA bidrar nå til utviklingen av AI ved å gjøre teknologien tilgjengelig som open-source programvare.