ENGINEERINGNET.BE - Hun technologie kan ervoor zorgen dat de volgende golf AI-toepassingen energie-efficiënter en privacy-vriendelijker wordt.
Door datastromen te beperken, kan tot 80% energie bespaard worden en worden meer gepersonaliseerde AI-oplossingen mogelijk.
Sebastien Couet, CTO van Vertical Compute (ex-Google): "Terwijl processorprestaties blijven toenemen, botsen geheugentechnologieën op hun grenzen. Het wordt absoluut noodzakelijk om dit geheugenprobleem aan te pakken om de volgende golf van AI-innovaties mogelijk te maken."
De snelle vooruitgang in Large Language Models en generatieve AI transformeert vrijwel iedere industrie in een ongekend tempo. Tegelijk steunen deze grote AI-modellen nog steeds op het doorploegen van gigantische hoeveelheden data op complexe systemen in datacenters.
Die heen-en-weertjes over de cloud brengen een hoge latency, een hoog energieverbruik en een afhankelijkheid van buitenlandse servers met zich mee.
Het zou sneller, energiebewuster en privacyveiliger zijn om die AI-berekeningen rechtstreeks op het toestel van de eindgebruiker (de ‘edge’) uit te voeren.
Maar vooraleer je grote AI-modellen lokaal kan draaien, moet je beperkingen op gebied van kost, stroomverbruik en rekenkracht overwinnen.
Het onderliggend probleem staat in de chipindustrie bekend als de 'memory wall’. Traditionele geheugens botsen op technologische barrières. SRAM (Static Random Access Memory, vaak gebruikt als tijdelijk geheugen in een processor) is snel, maar duur.
DRAM (Dynamic Random Access Memory, het hoofdgeheugen van computersystemen) is trager en verbruikt veel energie. Bovendien kunnen de prestaties van beide geheugentypes niet meegroeien met de steeds snellere rekenchips.
Dit probleem wordt almaar groter door de groeiende behoefte aan AI-toepassingen die snel grote hoeveelheden data opvragen. Het oplossen van dit geheugenprobleem is cruciaal voor de vooruitgang van AI.
Vertical Compute wil het probleem bij de wortel aanpakken door een nieuwe manier te ontwikkelen om data op te slaan. De revolutionaire oplossing integreert verticale databanen bovenop rekeneenheden, wat kan leiden tot efficiënter en goedkoper geheugen dat minder energie verbruikt.
Deze gepatenteerde technologie is uitgevonden door Sebastien Couet, voormalig programmadirecteur Magnetics bij imec. In de deeptech start-up wordt deze veelbelovende technologie gekoppeld aan een spin-off met een ambitieus commercialiseringsplan.
