nw  

AI-Unterstützte Suche von Bild-Objekten in Historischer Sammlung

Projektbild
Zusammenfassung

Das Pharmaziemuseum der Universität Basel besitzt eine große Sammlung pharmazeutischer Werbematerialien aus den Jahren 1950 bis 1990, die in einer Objektdatenbank erfasst sind. Die Datenbank enthält textuelle Informationen wie Hersteller und Wirkstoffe, jedoch ist die Suche aufgrund der manuell erzeugten Informationen nicht immer zuverlässig. Das Projektteam wurde beauftragt, die Datenbank zu verbessern, indem der Text von Scans extrahiert und Personen auf den Bildern nach Alter und Geschlecht klassifiziert werden. Es wurden State-of-the-Art-Modelle wie Optical Character Recognition (OCR) und Object Detection erfolgreich eingesetzt. Zusätzlich wurde experimentell versucht, die Flyer zu clustern und zu ordnen, um ähnliche Werbeobjekte zu identifizieren.

Schlüsselbegriffe

OCR, Object Detection, Clustering, Machine Learning, Historische Sammlung

Zielsetzung

Durch dieses Projekt sollte die Durchsuchbarkeit der Sammlung "Medikamentenwerbung" des Museums verbessert werden. Dafür sollten zusätzliche Daten, wie Text, Personen und deren Alter und biologisches Geschlecht, aus den schon vorhandenen Bilddaten generiert werden.

Ausgangslage

Das Pharmaziemuseum der Universität Basel verfügt über eine umfangreiche Sammlung pharmazeutischer Werbematerialien. Insgesamt sind es über 16'000 Objekte aus den Jahren 1950 bis 1990. Die Objekte werden in der Objektdatenbank des Museums erfasst. Neben dem Scan der Vorderseite werden weitere Informationen, wie Hersteller, Wirkstoff und stichwortartige Beschreibung des Flyers, in der Datenbank abgelegt, um sie nach bestimmten Flyern durchsuchbar zu machen. Diese manuell erzeugten Zusatzinformationen sind von unterschiedlicher Qualität. Deshalb ist die Suche nicht immer zuverlässig und zielführend.

Ergebnisse

Mit State of the Art Modellen aus dem Bereich Machine Learning gelang es, die gewünschten Daten aus den Scans zu extrahieren. Weiter wurden erste Versuche in die Richtung der semantischen Durchsuchbarkeit der Sammlung unternommen und konzeptionell ein solches System entworfen.

Projektdaten
Auftraggeber
Pharmaziemuseum Logo

Pharmaziemuseum der Universität Basel

Projektteam

Jonas Grüter und Michael Salm

Kontakt

Martin Melchior

Roman Studer

<< zurück