AnyBlox: A Framework for Self-Decoding Datasets

Zusammenfassung

Forschungsfortschritte bei Speicherformaten bringen fortlaufend effizientere Kodierungen und bessere Kompressionsraten hervor. Dennoch werden neue Formate nicht übernommen, weil die Implementierungskosten hoch sind, und bestehende Formate können sich nicht weiterentwickeln, weil sie Kompatibilität über Systeme hinweg wahren müssen. Lässt sich dieses Problem durch eine neue Abstraktion lösen? Wir bejahen das mit AnyBlox, einem Framework zum Lesen beliebiger Datensätze mittels leichtgewichtiger WebAssembly-Decoder, die mit den Daten gebündelt werden. Indem Decoder von Systemen und Dateiformatspezifikationen entkoppelt werden, ermöglicht AnyBlox transparente Formatevolution, instanzoptimierte Kodierungen und die Übernahme von Forschungsfortschritten in den Mainstream. Es fügt sich nahtlos in moderne Systeme wie DuckDB, Spark und Umbra ein und liefert solide Leistungs- und Sicherheitsgarantien.