Arbeiten mit sehr großen Datenbanken

Diese Seite enthält Hinweise zum Arbeiten mit sehr großen DuckDB-Datenbankdateien. Die meisten DuckDB-Datenbanken liegen deutlich unter 1 TB, in unserer Nutzerumfrage 2024 nutzten jedoch 1 % der Befragten DuckDB-Dateien von 2 TB oder mehr (entsprechend etwa 10 TB an CSV-Dateien).

DuckDBs natives Datenbankformat unterstützt sehr große Datenbankdateien ohne praktische Einschränkungen; beim Arbeiten mit sehr großen Dateien gibt es jedoch einiges zu beachten.

1. Objektspeichersysteme haben niedrigere Dateigrößengrenzen als blockbasierte Speichersysteme. AWS S3 begrenzt die Dateigröße beispielsweise auf 5 TB.

2. Das Checkpointing einer DuckDB-Datenbank kann langsam sein. Nach dem Hinzufügen weniger Zeilen zu einer Tabelle in der TPC-H-SF1000-Datenbank dauert das Checkpointing beispielsweise etwa 5 Sekunden.

3. Auf blockbasiertem Speicher hat das Dateisystem erheblichen Einfluss auf die Leistung bei großen Dateien. Unter Linux arbeitet DuckDB bei großen Dateien am besten mit XFS.

Für die Speicherung großer Datenmengen kommt das DuckLake-Lakehouse-Format in Frage.