Data Management for Data Science Towards Embedded Analytics

Zusammenfassung

Der Aufstieg von Data Science hat viele neue Nutzerinnen und Nutzer hervorgebracht, die Datenmanagementlösungen benötigen. Statt bestehender RDBMS-Lösungen greifen sie jedoch auf einen Stapel unabhängiger Werkzeuge für Datenspeicherung und -verarbeitung zurück, die durch Skriptsprachen zusammengehalten werden. Das liegt nicht daran, dass sie die Funktionalität eines integrierten RDBMS nicht bräuchten, sondern daran, dass bestehende RDBMS-Implementierungen ihrem Einsatzszenario nicht gerecht werden. Um diese Probleme zu lösen, schlagen wir eine neue Klasse von Datenmanagementsystemen vor: eingebettete analytische Systeme. Diese Systeme sind eng mit Analysewerkzeugen verzahnt und bieten schnellen, effizienten Zugriff auf die darin gespeicherten Daten. In dieser Arbeit beschreiben wir die besonderen Herausforderungen und Chancen hinsichtlich Workloads, Robustheit und Zusammenarbeit, vor denen diese neue Systemklasse steht, sowie die Schritte, die wir in DuckDB unternommen haben, um sie anzugehen.