Volltextsuche

DuckDB unterstützt Volltextsuche über die fts-Erweiterung. Ein Volltextindex ermöglicht es einer Abfrage, schnell alle Vorkommen einzelner Wörter in längeren Textzeichenketten zu finden.

Beispiel: Shakespeare-Korpus

Hier ein Beispiel für den Aufbau eines Volltextindex der Shakespeare-Dramen.

CREATE TABLE corpus AS
    SELECT * FROM 'https://blobs.duckdb.org/data/shakespeare.parquet';

DESCRIBE corpus;

column_name	column_type	null	key	default	extra
line_id	VARCHAR	YES	NULL	NULL	NULL
play_name	VARCHAR	YES	NULL	NULL	NULL
line_number	VARCHAR	YES	NULL	NULL	NULL
speaker	VARCHAR	YES	NULL	NULL	NULL
text_entry	VARCHAR	YES	NULL	NULL	NULL

Der Text jeder Zeile steht in text_entry, ein eindeutiger Schlüssel für jede Zeile in line_id.

Einen Volltextsuchindex erstellen

Zuerst erstellen wir den Index und geben den Tabellennamen, die eindeutige ID-Spalte und die zu indexierende(n) Spalte(n) an. Wir indexieren nur die einzelne Spalte text_entry, die den Text der Zeilen im Stück enthält.

PRAGMA create_fts_index('corpus', 'line_id', 'text_entry');

Die Tabelle kann nun mit der Ranking-Funktion Okapi BM25 abgefragt werden. Zeilen ohne Treffer liefern einen NULL-Score.

Was sagt Shakespeare über Butter?

SELECT
    fts_main_corpus.match_bm25(line_id, 'butter') AS score,
    line_id, play_name, speaker, text_entry
FROM corpus
WHERE score IS NOT NULL
ORDER BY score DESC;

score	line_id	play_name	speaker	text_entry
4.427313429798464	H4/2.4.494	Henry IV	Carrier	As fat as butter.
3.836270302568675	H4/1.2.21	Henry IV	FALSTAFF	prologue to an egg and butter.
3.836270302568675	H4/2.1.55	Henry IV	Chamberlain	They are up already, and call for eggs and butter;
3.3844488405497115	H4/4.2.21	Henry IV	FALSTAFF	toasts-and-butter, with hearts in their bellies no
3.3844488405497115	H4/4.2.62	Henry IV	PRINCE HENRY	already made thee butter. But tell me, Jack, whose
3.3844488405497115	AWW/4.1.40	Alls well that ends well	PAROLLES	butter-womans mouth and buy myself another of
3.3844488405497115	AYLI/3.2.93	As you like it	TOUCHSTONE	right butter-womens rank to market.
3.3844488405497115	KL/2.4.132	King Lear	Fool	kindness to his horse, buttered his hay.
3.0278411214953107	AWW/5.2.9	Alls well that ends well	Clown	henceforth eat no fish of fortunes buttering.
3.0278411214953107	MWW/2.2.260	Merry Wives of Windsor	FALSTAFF	Hang him, mechanical salt-butter rogue! I will
3.0278411214953107	MWW/2.2.284	Merry Wives of Windsor	FORD	rather trust a Fleming with my butter, Parson Hugh
3.0278411214953107	MWW/3.5.7	Merry Wives of Windsor	FALSTAFF	Ill have my brains taen out and buttered, and give
3.0278411214953107	MWW/3.5.102	Merry Wives of Windsor	FALSTAFF	to heat as butter; a man of continual dissolution
2.739219044070792	H4/2.4.115	Henry IV	PRINCE HENRY	Didst thou never see Titan kiss a dish of butter?

Im Gegensatz zu herkömmlichen Indizes aktualisieren sich Volltextindizes nicht automatisch, wenn die zugrunde liegenden Daten geändert werden. Sie müssen daher PRAGMA drop_fts_index(my_fts_index) ausführen und den Index bei Bedarf neu erstellen.

Hinweis zur Erzeugung der Korpus-Tabelle

Weitere Details finden Sie im Blogbeitrag „Generating a Shakespeare corpus for full-text searching from JSON“.

• Die Spalten sind: line_id, play_name, line_number, speaker, text_entry.
• Für die Volltextsuche benötigen wir einen eindeutigen Schlüssel für jede Zeile.
• Die line_id KL/2.4.132 bedeutet King Lear, Akt 2, Szene 4, Zeile 132.