Should I Hide My Duck in the Lake?

Zusammenfassung

Data Lakes verbringen einen erheblichen Teil der Abfrageausführungszeit damit, Daten aus Remote Storage zu scannen. Allein das Dekodieren macht 46 % der Laufzeit aus, wenn TPC-H direkt auf Parquet-Dateien ausgeführt wird. Um diesen Engpass zu adressieren, skizzieren wir die Vision einer Datenverarbeitungs-SmartNIC für die Cloud, die auf dem Netzwerk-Datapath der Compute-Knoten sitzt, um Dekodierung und heruntergeschobene Operatoren auszulagern und so die Kosten der Abfrage von Rohdateien zu verbergen. Unsere experimentellen Schätzungen mit DuckDB deuten darauf hin, dass deutlich kleinere CPUs den Query-Durchsatz klassischer Setups erreichen können, wenn sie direkt auf vorgefilterten Daten arbeiten, wie sie eine SmartNIC liefert.