Evaluation von verschiedenen Feature Extraction Modellen und Zero-Shot Learning Ansätzen um Pollen zu erkennen.
Python, Zero-Shot Learning, Self-Supervised Learning,
MeteoSchweiz verwendet automatisierte Instrumente für ein schweizweites Messnetz zur Erkennung von in der Luft vorhandenen Pollen. Diese Instrumente ermöglichen eine umfassende Erfassung und Analyse der Pollenbelastung. Mit den gewonnenen Daten werden unter anderem für das ganze Land Pollenprognosen erstellt, die zeitnah der Öffentlichkeit zur Verfügung gestellt werden. Swisens ist ein Schweizer Hersteller von Messinstrumenten für Echtzeit-Monitoring von Pollen. Das Messsystem “Swisens Poleno” zieht Umgebungsluft ein und leitet die enthaltenen Partikel und Pollen in eine Messkammer. Darin werden mittels Holographie-Verfahren die Dimension und Form der Pollen ermittelt und als Bild visualisiert. Neben den Bildern werden auch die Beschreibungen, wie Dimension und Form, als tabellarische Daten festgehalten. Die gemessenen Daten werden danach von künstlicher Intelligenz verwendet, um die Pollen zu klassifizieren. Diese automatisierte Klassifikation stellt eine erhebliche Verbesserung gegenüber herkömmlichen manuellen Methoden dar, da sie schneller ist.
Ziel dieser Arbeit ist es, die manuelle Feature-Extraktion durch einen automatisierten End-to-End-Ansatz zu ersetzen und State-of-the-Art-Modelle für die Klassifikation der Pollenaufnahmen zu trainieren. Hierbei soll insbesondere die Methode des Zero-Shot Learnings untersucht werden, um die Erkennung und Klassifikation von zuvor ungesehenen Pollenspezies zu ermöglichen. Dies ist relevant, wenn das System in neuen Gebieten mit unbekannten Pflanzenarten angewendet wird.
Für die Feature Extraction haben wir ResNet18 und DINOv2 verglichen. Bei ResNet18 haben wir vortrainierte und selbst trainierte Gewichtungen verwendet. Am besten abgeschnitten haben das vortrainierte ResNet18 und DINOv2. Beide haben ähnliche Resultate erzielt und mit einer Accuracy und F1-Score von rund 0.9 sehr gut funktioniert.
Als erstes Zero-Shot Learning Modell verwenden wir einen Ansatz, bei dem Features und semantische Informationen zueinander projiziert werden. Wir untersuchen auch unterschiedliche Loss Funktionen und Trainingsansätze. Wir zeigen, dass Triplet Margin Loss am besten abschneidet. Ausserdem hat auch die Skalierung der REM-Bilder teilweise einen positiven Einfluss auf das Resultat. Wenn im Modell die semantische Seite vortrainiert wird, führte dies zu schlechteren Ergebnissen, was nicht erwartet wurde. Insgesamt funktioniert unser Modell nicht gut genug, um in der Praxis eingesetzt zu werden.
Beim zweiten Zero-Shot Learning Ansatz wird das erste Modell dadurch erweitert, dass die Features durch Self-Supervised Learning generiert werden. Obwohl unterschiedliche Ansätze getestet und die Bilder rekonstruiert werden können, kann das Modell anhand der neuen Features unbekannte Pollenarten nicht erkennen.
Während wir bei der Feature Extraction gute Resultate erreicht haben, ist dies bei den Zero-Shot Learning Methoden nicht der Fall. Wir diskutieren mögliche Probleme und zeigen auf, was in weiteren Versuchen anders gemacht werden kann und welche Ansätze verfolgt werden können.
Projektdauer: 19.02.24 - 16.08.24, Aufwand in Personenstunden: 720h, Teamgrösse: 2
Institut für Data Science I4DS
Bahnhofstrasse 5
5210 Windisch
Tobias Eng
Patrick Schürmann
Prof. Dr. Martin Melchior, martin.melchior@fhnw.ch
Roman Studer, roman.studer@fhnw.ch
