web_search

Google Custom Search API direkt aus SQL mit Filter-Pushdowns abfragen

Maintainer: onnimonni

Installation und Laden

INSTALL web_search FROM community;
LOAD web_search;

Beispiel

-- Setup credentials (get from Google Cloud Console)
CREATE SECRET google_search (
    TYPE google_search,
    key 'YOUR_API_KEY',
    cx 'YOUR_SEARCH_ENGINE_ID'
);

-- Basic web search
SELECT title, link, snippet
FROM google_search('duckdb database')
LIMIT 10;

-- Filter by site
SELECT title, link
FROM google_search('rust tutorial')
WHERE site = 'github.com'
LIMIT 20;

Über web_search

DuckDB-Erweiterung zum Abfragen der Google Custom Search API mit SQL-Filter-Pushdowns.

Funktionen

Tabellenfunktionen

• google_search(query) - Websuche
• google_image_search(query) - Bildersuche

Filter-Pushdowns (WHERE-Klausel)

• site = 'example.com' / site IN (...) / site != '...'
• language = 'en' / country = 'US' / file_type = 'pdf'
• exact_match = 'phrase' / term IN (...) / term != '...'
• ORDER BY date DESC/ASC
• LIMIT-Optimierung

Benannte Parameter

• exact_terms, exclude_terms, or_terms
• safe (boolean), rights, sort, structured_data
• Bilder: img_size, img_type, img_color_type, img_dominant_color

COPY TO

• FORMAT google_pse_annotation - URL-Muster als PSE-Annotation-XML exportieren

Sonstiges

• Spalte pagemap als JSON-Typ (Zugriff über Arrow-Operator)
• Schonende Behandlung von 429-Ratenbegrenzungen
• JSON-Erweiterung wird automatisch geladen

Einrichtung

API-Zugangsdaten beschaffen:

• API Key: https://developers.google.com/custom-search/v1/introduction
• Search Engine ID (cx): https://programmablesearchengine.google.com/controlpanel/all

Hinzugefügte Funktionen

Überladene Funktionen

Diese Erweiterung fügt keine Funktionsüberladungen hinzu.

Hinzugefügte Typen

Diese Erweiterung fügt keine Typen hinzu.

Hinzugefügte Einstellungen

Diese Erweiterung fügt keine Einstellungen hinzu.