Beyond Quacking: Deep Integration of Language Models and RAG into DuckDB

Zusammenfassung

Wissensintensive analytische Anwendungen holen Kontext sowohl aus strukturierten tabellarischen Daten als auch aus unstrukturierten Freitextdokumenten, um fundierte Entscheidungen zu treffen. Große Sprachmodelle (LLMs) haben das Prototyping solcher Retrieval- und Reasoning-Datenpipelines deutlich vereinfacht. Sie effizient umzusetzen bleibt jedoch anspruchsvoll und erfordert erheblichen Aufwand. Entwicklerinnen und Entwickler müssen oft heterogene Systeme orchestrieren, Datenbewegungen steuern und Low-Level-Themen wie die LLM-Kontextverwaltung lösen. Um diese Herausforderungen anzugehen, stellen wir FlockMTL vor: eine Extension für DBMS, die LLM-Fähigkeiten integriert und Retrieval-Augmented Generation (RAG) in SQL ermöglicht. FlockMTL bietet LLM-gestützte Skalar- und Aggregatfunktionen und erlaubt verkettete Vorhersagen über Tupel. Darüber hinaus stellt es Datenfusionsfunktionen für Hybrid Search bereit. In Anlehnung an das Relationenmodell umfasst FlockMTL: (i) nahtlose Optimierungen wie Batching und Meta-Prompting; und (ii) Ressourcenunabhängigkeit durch neue SQL-DDL-Abstraktionen: PROMPT und MODEL, eingeführt als First-Class-Schemaobjekte neben TABLE.

Implementierung

FlockMTL ist als DuckDB-Community-Extension verfügbar.