A Long-Term Archival Pipeline for the Forschungsdatenplattform Stadt.Geschichte.Basel
Vortrag
Der Vortrag ist Teil der Vormittags-Session an der DaSCHCon 2025 im Museum für Kommunikation in Bern.
Abstract
Die Forschungsdatenplattform von Stadt.Geschichte.Basel bietet offenen Zugang zu vielfältigem historischem Material zur Stadt Basel, darunter Texte, Bilder sowie statistische und geodätische Daten. Obschon technisch robust und öffentlich über GitHub Pages verfügbar mittels CollectionBuilder-CSV, stösst unsere aktuelle Infrastruktur an kritische Grenzen bei Nachhaltigkeit und Skalierbarkeit.
Gegenwärtig werden Metadaten und Dateien über die von der Universität Bern bereitgestellte Omeka-S-Instanz kuratiert und verwaltet, aus der wir die Daten für die Darstellung via CollectionBuilder extrahieren. Dieses Setup birgt jedoch erhebliche Risiken für die langfristige Verfügbarkeit:
- Omeka liegt nicht unter unserer institutionellen Kontrolle und ist möglicherweise nicht dauerhaft finanziert.
- GitHub Pages eignet sich nicht für grosse Dateien oder eine garantierte Persistenz.
- CollectionBuilder verfügt nicht über eingebaute Unterstützung für Versionierung und persistente Identifikatoren auf dem von Forschungsdateninfrastrukturen benötigten Niveau.
Um diese Herausforderungen zu adressieren, implementieren wir eine Übergangs-Pipeline, um sämtliche Metadaten und zugehörige Dateien bei DaSCH zu archivieren und dessen Infrastruktur für versionierte, dauerhafte und FAIR-konforme Forschungsdatenpublikation zu nutzen. Die neue Pipeline umfasst:
- Metadaten-Harvesting und -Transformation von Omeka in das DaSCH-Datenmodell.
- Automatisierte Ablage- und Aktualisierungsroutinen über die DaSCH-REST-API, einschliesslich Unterstützung für die Versionierung bestehender Datensätze.
- Rückschreiben stabiler DaSCH-Identifikatoren und Zugriffs-URLs in unsere öffentliche Plattform, um Transparenz und Zitierbarkeit sicherzustellen.
- Erhaltung hierarchischer Beziehungen und Medien-Metadaten, abgestimmt auf unser eigenes Metadatenmodell, das Prinzipien einer diskriminierungssensiblen Beschreibungspraxis einbezieht.
Dieser Übergang erlaubt es uns, das Archiv-Backend von der Frontend-Präsentation zu entkoppeln und so langfristige Datenzugänglichkeit, Zitierbarkeit und semantische Interoperabilität sicherzustellen. In unserer Präsentation teilen wir den architektonischen Überblick, Überlegungen auf Code-Ebene sowie unsere Reflexionen zur Arbeit mit den DaSCH-APIs im realen Praxiskontext, darunter:
- Erkenntnisse zu Metadaten-Crosswalks und Transformationslogik.
- Technische Fallstricke bei Versionskontrolle, Dateiübertragung und Identifikator-Verwaltung.
- Herausforderungen bei der Abstimmung von Minimal-Computing-Ansätzen (CollectionBuilder) mit robusten Backend-Infrastrukturen (DSP).
Diese Fallstudie zeigt, wie sich schlanke digitale Publikationsumgebungen wirksam mit nationalen Forschungsinfrastrukturen kombinieren lassen, um nachhaltigen, standardbasierten Zugang zu historischen Forschungsdaten zu ermöglichen. Sie wirft zudem grundsätzlichere Fragen zu infrastruktureller Unabhängigkeit, Skalierbarkeit geisteswissenschaftlicher Plattformen und den praktischen Herausforderungen bei der Umsetzung von FAIR-Prinzipien in community-entwickelten Software-Ökosystemen auf.
The Forschungsdatenplattform by Stadt.Geschichte.Basel provides open access to diverse historical materials relating to the city of Basel, including texts, images, statistical, and geospatial data. While technically robust and publicly available through GitHub Pages using the CollectionBuilder-CSV, our current infrastructure faces critical sustainability and scalability limitations.
At present, metadata and files are curated and managed using the Omeka-S instance provided by the University of Bern, from which we extract the data for display via CollectionBuilder. However, this setup introduces significant risks for long-term availability:
- Omeka is not under our institutional control and may not remain permanently funded.
- GitHub Pages is not suitable for serving large files or guaranteeing persistence.
- CollectionBuilder lacks built-in support for versioning and persistent identifiers at the level required by research data infrastructures.
To address these challenges, we are implementing a transition pipeline to archive all metadata and associated files with DaSCH, leveraging its infrastructure for versioned, durable, and FAIR-compliant research data publication. The new pipeline includes:
- Metadata harvesting and transformation from Omeka to the DaSCH data model.
- Automated deposit and update routines using the DaSCH REST API, including support for versioning existing records.
- Writing back stable DaSCH identifiers and access URLs to our public-facing platform, ensuring transparency and citability.
- Preservation of hierarchical relationships and media metadata, aligned with our custom metadata model, which incorporates principles of anti-discriminatory description practices.
This transition allows us to decouple the archival backend from the front-end presentation, ensuring long-term data accessibility, citability, and semantic interoperability. In our presentation, we will share the architectural overview, code-level considerations, and our reflections on working with DaSCH APIs in a real-world context, including:
- Lessons learned in metadata crosswalks and transformation logic.
- Technical caveats in version control, file transfers, and identifier management.
- Challenges in aligning minimal computing approaches (CollectionBuilder) with robust backend infrastructures (DSP).
This case study illustrates how lightweight digital publishing environments can be effectively combined with national research infrastructures to deliver sustainable, standards-based access to historical research data. It also raises broader questions about infrastructural independence, scalability of humanities platforms, and the practical challenges of implementing FAIR principles in community-developed software ecosystems.