Frag mich was
Semantische Suche in den Forschungsbänden und Data Stories von Stadt.Geschichte.Basel
Frag mich was
Frag mich was ist eine semantische Suchmaschine für Basels Geschichte. Sie durchsucht die neun Forschungsbände und sieben Data Stories von Stadt.Geschichte.Basel. Nutzer:innen geben ein Thema oder eine Frage in natürlicher Sprache ein. Die Anwendung findet passende Textpassagen, auch wenn diese andere Wörter verwenden als die Suchanfrage.
Die Suche liefert bestehende Textauszüge. Sie erzeugt und überprüft keine Antworten. Die Treffer sind nach semantischer Ähnlichkeit geordnet. Für die Einordnung bleibt die Lektüre der Originalpublikation massgeblich.
Funktionen
- Suche nach Bedeutung: Themen und Fragen finden inhaltlich verwandte Passagen, auch ohne exakte Wortübereinstimmung.
- Bis zu fünf Publikationen pro Suche: Die gemeinsame Rangliste enthält pro Kapitel oder Data Story nur die am besten passende Passage.
- Verweis auf das Original: Jeder Treffer nennt Titel und Band, zeigt einen Auszug und verlinkt die Originalpublikation.
- Buchkapitel und Data Stories: Das Korpus umfasst 70 deutschsprachige Kapitel und sieben Data Stories mit insgesamt 6660 Passagen. Einleitungen sind enthalten. Anhänge mit Literaturverzeichnissen und Registern sind ausgeschlossen. Quellenzitate behalten ihre originale Schreibweise.
- Barrierearme Bedienung: Automatisierte Browsertests in Chromium und Firefox prüfen Tastaturbedienung, Statusmeldungen für Screenreader, Umbruch bis 320 Pixel Breite und vergrösserte Schrift. Eine vollständige WCAG-Konformitätsprüfung ersetzen diese Tests nicht.
Anwendung
Gib ein Thema ein, etwa «Rhein und Handel in Basel». Auch Fragen wie «Welche Bedeutung hatte der Rhein für Basel?» sind möglich. Wähle Suchen. Die Anwendung zeigt bis zu fünf passende Publikationen mit je einem Auszug. Numerische Ähnlichkeitswerte blendet die Oberfläche aus.
Die Quellenangabe nennt neun Forschungsbände und sieben Data Stories. Sie verlinkt den Publikationskatalog und die Data Stories. Kapitel öffnen sich über Originalkapitel öffnen per DOI. Originalstory öffnen führt zur jeweiligen ArcGIS StoryMap. Alle Story-Treffer tragen den gemeinsamen Bandtitel Data Stories.
Die Kennzeichnung Nur Zusammenfassung weist auf Datensätze hin, die ausschliesslich eine Beschreibung enthalten. Die sieben aktuellen Story-Datensätze enthalten die vollständigen Erzähltexte. Unter Über die Suche unterhalb der Treffer stehen Angaben zu Quellen, Grenzen der Suche, Datenschutz, Lizenzen und Quellcode.
Funktionsweise
Die Suche beruht auf Text-Embeddings. Diese numerischen Vektoren bilden die Bedeutung eines Textes ab. Die Aufbereitung erfolgt in mehreren Schritten:
- Kapiteltexte aufbereiten: Ein Importskript wandelt die HTML-Ausgaben aus SGB Minimal HTML in Markdown um. Es entfernt Anhangskapitel, Fussnotenmarker, Endnoten und technische Metadaten.
- Data Stories importieren: Ein weiteres Skript übernimmt die veröffentlichten Erzähltexte aus der ArcGIS-Schnittstelle. Es enthält Überschriften und Erzähltexte, aber keine interaktiven Anwendungen, Kartendaten oder Medien. «Das jüdische Basel» bleibt ausgeschlossen.
- In Passagen zerlegen: Der Indexaufbau teilt die Texte in Passagen von 120 bis 180 Modell-Tokens auf.
- Embeddings berechnen: Das mehrsprachige Modell multilingual-e5-small berechnet für jede Passage einen normalisierten Vektor. Passagen und Vektoren bilden einen statischen Suchindex.
- Anfrage einbetten: Im Browser berechnet eine quantisierte Fassung desselben Modells den Vektor der Suchanfrage.
- Nach Ähnlichkeit ordnen: Die Anwendung vergleicht die Anfrage mit allen Passagen über die Kosinus-Ähnlichkeit. Pro Publikation behält sie die beste Passage.
Die semantische Suche ordnet bestehende Passagen nach ihrer Nähe zur Anfrage. Jeder angezeigte Auszug stammt aus dem importierten Text einer publizierten Quelle.
Technologie
Das GitHub-Repository frag-mich-was enthält Quellcode, importierte Texte und den generierten Suchindex. Die Anwendung ist in Python als marimo-Notebook geschrieben. Ein Export stellt sie als WebAssembly-Anwendung bereit. Die Anfrage-Embeddings berechnet Transformers.js direkt im Browser.
GitHub Pages stellt die Anwendung statisch bereit. Es gibt kein Backend und keine Inferenz-Schnittstelle. Automatisierte Prüfungen umfassen Linting, Typprüfung, Tests und Exportprüfungen. Erst danach wird die Anwendung veröffentlicht. Der Branch main ist geschützt. Änderungen brauchen einen Pull Request, eine Freigabe und erfolgreiche Prüfungen. Die Browsertests mit echter WebAssembly-Inferenz laufen lokal.
Die Seite nutzt Farben, Logo und Euclid Circular B von Stadt.Geschichte.Basel. Kopfband und Fusszeile verlinken das Portal, die Dokumentation, den Datenschutz und die Barrierefreiheit. Metadaten beschreiben die semantische Suche für Suchmaschinen und soziale Medien.
Datenschutz und Downloads
Suchanfragen verlassen den Browser nicht. Kein Inferenzdienst erhält die Anfrage. Der erste Besuch erfordert jedoch eine Netzwerkverbindung und grössere Downloads:
- Der Suchindex umfasst unkomprimiert etwa 28 MB. Die Übertragungsgrösse hängt von der Kompression des Hosts ab.
- Bei der ersten Suche lädt der Browser zusätzlich ein Modell von etwa 120 MB.
- Laufzeitumgebung und Modell stammen von externen Hosts. Dazu gehören
cdn.jsdelivr.net,pypi.org,files.pythonhosted.org,wasm.marimo.appund Hugging Face.
Ein vollständiger Offline-Betrieb ist nicht vorgesehen. Korpustext und Embeddings sind öffentlich. Der Index enthält ausschliesslich bereits publizierte Inhalte.
Lizenz
Der Code steht unter der AGPL-3.0-only-Lizenz. Die Buchinhalte sind © Stadt.Geschichte.Basel / Christoph Merian Verlag und unter CC BY-NC 4.0 lizenziert. Die Originalpublikationen stehen im Publikationskatalog.
Die sieben Data Stories sind mit Erlaubnis zur Weiterverbreitung ihrer Erzähltexte enthalten. Diese Erlaubnis weist ihnen keine Creative-Commons-Lizenz zu. Die Lizenz der Buchkapitel gilt nicht für die Data Stories. Die importierten Dateien bewahren die ursprünglichen Rechtehinweise und Quellenangaben.