Selective Late Materialization in Modern Analytical Databases

Zusammenfassung

Late Materialization (LM) ist eine zentrale Technik traditioneller Column Stores, um analytische Anfragen zu beschleunigen. Mit der Entwicklung moderner analytischer Datenbanken hin zu einer vektorisierten, spaltenorientierten Ausführungsengine haben die Vorteile von LM bei I/O-Reduktion und schneller spaltenorientierter Anfrageverarbeitung jedoch abgenommen. In diesem Beitrag definieren wir das Konzept der Late Materialization im Kontext moderner analytischer Datenbanken neu und schlagen Selective Late Materialization (SLM) vor, sodass jedes Attribut in einer Anfrage seinen eigenen Materialisierungspunkt wählen kann, der die geringsten Kosten verursacht. SLM erweitert den Lösungsraum des klassischen Materialisierungsproblems von einer einheitlichen fest verdrahteten Binärentscheidung (früh oder spät) für alle Attribute hin zu Entscheidungen pro Attribut und Anfrage. Durch die Integration von SLM in DuckDB zeigen wir, dass SLM die Baselines Early Materialization und Late Materialization im Schnitt um 14,7 % bzw. 8,9 % übertrifft, gemessen am Join Order Benchmark (JOB), mit einer Latenzreduktion von bis zu 76,7 % für einzelne Anfragen. Ähnliche Ergebnisse beobachten wir für den TPC-DS-Benchmark.