Datenimport

Empfohlene Importmethoden

Beim Import von Daten aus anderen Systemen nach DuckDB gibt es mehrere Punkte zu beachten. Wir empfehlen den Import in folgender Reihenfolge:

1. Für Systeme, die von einer DuckDB-Scanner-Erweiterung unterstützt werden, ist der Scanner vorzuziehen. DuckDB bietet derzeit Scanner für MySQL, PostgreSQL und SQLite sowie einen allgemeinen ODBC-Scanner.
2. Gibt es im Quellsystem eine Bulk-Export-Funktion, exportieren Sie die Daten nach Parquet oder CSV und laden Sie sie anschließend mit DuckDBs Parquet- oder CSV-Loader.
3. Sind die obigen Ansätze nicht anwendbar, erwägen Sie den DuckDB-Appender, der derzeit in den APIs für C, C++, Go, Java und Rust verfügbar ist.

Zu vermeidende Methoden

Vermeiden Sie nach Möglichkeit zeilenweise Schleifen (Tupel für Tupel) zugunsten von Bulk-Operationen. Zeilenweise Inserts (auch mit Prepared Statements) sind leistungsschädlich und führen zu langen Ladezeiten.

Bestpractice Außer bei kleinen Datenmengen (<100k Zeilen) vermeiden Sie Inserts in Schleifen.