ldbc_data_gen

LDBC-SNB-BI-Datensätze direkt aus DuckDB erzeugen

Maintainer: Dtenwolde

Installation und Laden

INSTALL ldbc_data_gen FROM community;
LOAD ldbc_data_gen;

Beispiel

INSTALL ldbc_data_gen FROM community;
LOAD ldbc_data_gen;

-- Generate the LDBC SNB BI dataset as DuckDB tables.
CALL ldbcgen(sf := 0.003, schema := 'ldbc');

-- Inspect generated relation counts.
FROM ldbcgen(sf := 0.003, schema := 'ldbc_counts');

-- Generate Spark-compatible BI Parquet files.
CALL ldbcgen(
  sf := 0.003,
  target := 'files',
  output_dir := 'out/sf0.003',
  format := 'parquet',
  overwrite := true
);

-- Inspect the generated schema metadata.
FROM ldbcgen_schema(format := 'parquet')
LIMIT 10;

-- Run one bundled LDBC BI query against generated tables.
PRAGMA ldbc_bi(1, schema = 'ldbc');

Über ldbc_data_gen

Die Erweiterung ldbc_data_gen erzeugt deterministische LDBC-Social-Network-Benchmark-Business-Intelligence-Datensätze (SNB BI) direkt in DuckDB. Sie kann den erzeugten Graphen als DuckDB-Tabellen materialisieren oder Spark-kompatible BI-Dateien im Layout composite-merged-fk schreiben, einschließlich des initialen Snapshots sowie Inserts und Deletes. Die Ausgabe als Parquet- und CSV-Dateien wird unterstützt. Die Erweiterung enthält außerdem Hilfen zum Prüfen des erzeugten Schemas, der Konfigurationswerte, deterministischer Java-kompatibler Zufallsfolgen sowie zur Ausführung der mitgelieferten LDBC-BI-Abfragen über PRAGMA ldbc_bi. Der Generator ist für reproduzierbare Benchmark-Datenerzeugung und lokale Validierungsabläufe ohne Spark ausgelegt.

Hinzugefügte Funktionen

Überladene Funktionen

Diese Erweiterung fügt keine Funktionsüberladungen hinzu.

Hinzugefügte Typen

Diese Erweiterung fügt keine Typen hinzu.

Hinzugefügte Einstellungen

Diese Erweiterung fügt keine Einstellungen hinzu.