paimon

Apache-Paimon-Tabellen direkt aus DuckDB abfragen

Maintainer: mrdrivingduck

Installation und Laden

INSTALL paimon FROM community;
LOAD paimon;

Beispiel

-- Query local Paimon tables
SELECT * FROM paimon_scan('./data/testdb.db/testtbl');

-- Configure OSS credentials for remote tables
CREATE SECRET my_oss (
    TYPE paimon,
    key_id 'your-access-key-id',
    secret 'your-access-key-secret',
    endpoint 'oss-cn-hangzhou.aliyuncs.com'
);

-- Query Paimon tables on OSS
SELECT * FROM paimon_scan('oss://your-bucket/warehouse', 'your_db', 'your_table');

-- Attach as catalog
ATTACH 'oss://my-bucket/warehouse' AS paimon_lake (TYPE paimon);
SHOW ALL TABLES IN paimon_lake;

Über paimon

Die Paimon-Erweiterung ermöglicht DuckDB das direkte Lesen und Abfragen von Daten im Apache-Paimon-Format. Apache Paimon ist ein Lake-Format, mit dem sich eine Realtime-Lakehouse-Architektur mit Flink und Spark für Streaming- und Batch-Operationen aufbauen lässt.

Wichtige Funktionen:

• Keine JVM-Abhängigkeit — reine C++-Implementierung
• Apache-Arrow-Datenaustausch für Zero-Copy-Transfers
• Parallele Scan-Architektur unter Nutzung mehrerer CPU-Kerne
• Sichere Credential-Verwaltung über DuckDBs Secret Manager
• Unterstützung für lokalen und entfernten OSS-Speicher
• Projektions-Pushdown-Optimierung

Aufgebaut auf paimon-cpp, bringt diese Erweiterung DuckDBs lokale Analytik ins Paimon-Data-Lake-Ökosystem.

Weitere Informationen finden Sie im Erweiterungs-Repository.

Hinzugefügte Funktionen

Diese Erweiterung fügt keine Funktionen hinzu.

Überladene Funktionen

Diese Erweiterung fügt keine Funktionsüberladungen hinzu.

Hinzugefügte Typen

Diese Erweiterung fügt keine Typen hinzu.

Hinzugefügte Einstellungen

Diese Erweiterung fügt keine Einstellungen hinzu.