How to Make your Duck Fly: Advanced Floating Point Compression to the Rescue

Zusammenfassung

Die enormen Datenmengen, die in Bereichen wie Scientific Computing, Finanzwesen und Umweltmonitoring anfallen, erschweren mehrdimensionale Analysen bei hoher Geschwindigkeit und verursachen erhebliche Speicher- und Egress-Kosten. Kompressionsalgorithmen zur Senkung dieser Kosten eignen sich besonders für spaltenorientierte DBMS, weil die Werte einzelner Spalten meist ähnlich sind und sich daher gut komprimieren lassen. Für binäre Gleitkommazahlen galt das bislang nicht: Die Platzeinsparungen entsprechender Verfahren sind in der Regel bescheiden. Wir stellen hier zwei verlustfreie Kompressionsalgorithmen für Gleitkommadaten vor, Chimp und Patas, die beeindruckende Kompressionsraten erreichen und den Stand der Technik deutlich übertreffen. Wir konzentrieren uns darauf, wie diese beiden Algorithmen die Leistung von DuckDB beeinflussen, einer zweckgebundenen einbettbaren Datenbank für interaktive Analytik. Unsere Demonstration zeigt, wie unsere neuen Kompressionsansätze a) den Speicherbedarf senken und b) die Zeit zum Laden und Abfragen von Daten mit DuckDB verbessern.

Implementierung

Die Kompressionsalgorithmen Chimp und Patas werden beide in DuckDB unterstützt.