crawler

SQL-nativer Web-Crawler mit HTML-Extraktion und MERGE-Unterstützung

Maintainer: onnimonni

Installation und Laden

INSTALL crawler FROM community;
LOAD crawler;

Beispiel

SELECT url, jq(html.document, 'h1').text as title
FROM crawl(['https://example.com']);

Über crawler

Die crawler-Erweiterung stellt SQL-native Web-Crawling-Funktionen für DuckDB bereit.

Funktionen:

• Tabellenfunktion crawl() mit automatischer Ratenbegrenzung und Einhaltung von robots.txt
• crawl_url() für LATERAL-Joins
• sitemap() zum Parsen von XML-Sitemaps
• read_html() im Stil von Google-Sheets-IMPORTHTML (Tabellen, Listen, JS-Variablen)
• Funktionen jq() und htmlpath() zur Extraktion über CSS-Selektoren
• html.readability zur Artikel-Extraktion
• html.schema zum Parsen von JSON-LD/Microdata
• Syntax CRAWLING MERGE INTO für Upsert-Operationen

Beispiel mit read_html (wie Google Sheets =IMPORTHTML):

SELECT * FROM read_html('https://en.wikipedia.org/wiki/...', 'table.wikitable', 1);
SELECT * FROM read_html('https://example.com/page', 'js=jobs');

Beispiel mit Extraktion:

SELECT
    url,
    jq(html.document, '.price', 'data-amount') as price,
    html.readability.title as article_title
FROM crawl(['https://example.com/products']);

Beispiel mit MERGE:

CRAWLING MERGE INTO pages
USING crawl(['https://example.com']) AS src
ON (src.url = pages.url)
WHEN MATCHED THEN UPDATE BY NAME
WHEN NOT MATCHED THEN INSERT BY NAME;

Vollständige Dokumentation: https://github.com/midwork-finds-jobs/duckdb-crawler

Hinzugefügte Funktionen

Überladene Funktionen

Diese Erweiterung fügt keine Funktionsüberladungen hinzu.

Hinzugefügte Typen

Diese Erweiterung fügt keine Typen hinzu.

Hinzugefügte Einstellungen