Snel en efficiënt gecomprimeerde database wijzigen

Sándor Héman van het CWI ontwikkelde een methode om een grote database te comprimeren waardoor de gegevens veel sneller van de harde schijf naar de rekenkern van een pc worden overgebracht.

Trefwoorden: #algoritme, #CWI, #database, #databasemanagement, #rekenmethode

Lees verder

research

ENGINEERINGNET.NL - Daarnaast ontwikkelde hij ook efficiënte algoritmes om wijzigingen te kunnen aanbrengen in deze gecomprimeerde data.

Veel organisaties verzamelen tegenwoordig enorme hoeveelheden digitale informatie, en slaan deze op in een databasemanagementsysteem. Deze database wordt continu gewijzigd en aangevuld, maar ook moet ook op elk moment geanalyseerd kunnen worden.

Dit zijn twee verschillende bewerkingen, die verschillende eisen stellen aan de architectuur van het databasesysteem.

De analyse van data wordt uitgevoerd door de rekenkern van een computer. De data moeten hiervoor vanaf opslagplaats, meestal de harde schijf van een computer, naar deze rekenkern worden gebracht. Dit transport van schijf naar rekenkern is veelal traag, wat bij analyse van grote hoeveelheden data een flessenhals kan vormen.

Héman: “In mijn onderzoek heb ik de negatieve gevolgen van zo’n flessenhals gereduceerd, door de omvang van een database te verkleinen door middel van data compressie. Door een snelle en transparante compressie te hanteren, kan de rekenkern de data-analyse ongehinderd uitvoeren.”

Als er vervolgens wijzigingen in een gecomprimeerde database moeten worden aangebracht, is het omslachtig om de data eerst te moeten decomprimeren, wijzigen, hercomprimeren, en weer opnieuw weg te schrijven.

Hiervoor heeft Héman technieken ontwikkeld die wijzigingen differentieel bijhouden, zoals errata bij een boek, maar dusdanig dat deze tijdens het lezen direct en efficiënt worden toegepast.


(bron: CWI) (Image courtesy of [ tigger11th] at FreeDigitalPhotos.net)