Making sense of mobile eye tracking data throughvideo processing and visual analytics

Zusammenfassung

In dieser Arbeit wurde eine Vorgehensweise und ein Algorithmus entwickelt, um für Daten von Eye-Tracking Brillen mit Video und Blickpunkt automatisiert zu bestimmen, auf was für Objekte der Blick der BrillenträgerIn fokusiert war.

Schlüsselbegriffe

Python, Eye-Tracking, Videoverarbeitung, Objekterkennung, Machine Learning, PyTorch, YOLOv7

Zielsetzung

• Den State Of The Art auf dem Gebiet der Eye-Tracking Datenverarbeitung und Objekterkennung analysieren
• Die Erkenntnisse aus der Forschung in der Praxis anwenden durch die automatische Zuordnung von Blickpunkten in vorgegebene Areas Of Interest
• Auswertung der Anzahl Blicke und der durchschnittlichen Blickdauer pro Area Of Interest
• Benutzeroberfläche zur Validierung / Nachbearbeitung der Ergebnisse

Ausgangslage

Die Forschungspartner von der Universität Innsbruck führten ein Experiment durch, bei dem sie Eye-Tracking Daten zur späteren Auswertung sammelten. Die Herstellersoftware reicht nicht aus um die gesammelten Daten zu verarbeiten und man muss daher auf teure, lizenzpflichtige Software zurückgreifen. Ausserdem ist der Zeitaufwand für das manuelle Zuweisen von Blickpunkten in Areas Of Interest, bei grösseren Experimenten mit Stunden von Videomaterial mit 25 oder mehr Bildern pro Sekunde, mit sehr hohem Zeitaufwand verbunden.

Ergebnisse

• Es wurde der aktuelle Stand der Forschung analysiert und daraus eine Vorgehensweise zur automatischen Verarbeitung von Eye-Tracking Daten entwickelt
• Diese Vorgehensweise wurde angewendet, um einen auf Open Source Technologien basierenden Algorithmus zu entwickeln
• Die Anzahl Blicke und die durchschnittliche Blickdauer werden ausgegeben und können mit GlassesViewer validiert und nachbearbeitet werden
• Der Algorithmus verwendet einen Multi-Method Approach, um mit Machine Learning Modellen zur Objekterkennung, einem für das selbstgesteurte Fahren vorgesehenen Wegerkennungsalgorithmus, einem Grünfilter und mit Optical Character Recognition (OCR) möglichst viel Bildfläche den vorgegebenen Areas Of Interest zuzuweisen. Unter Berücksichtigung des Blickpunktes auf den einzelnen Bildern, konnte damit bestimmt werden, zu welcher Area Of Interest das Objekt am Blickpunkt gehört:

Projektdaten

Projekttyp: Bachelorarbeit Studiengang Informatik
Projektdauer: September 2022 - März 2023
Zeitaufwand: 360h
Teamgrösse: 1

Forschungspartner

Universität Innsbruck

Projektteam

Kevin Dubach

Kontakt

Prof. Dr. Arzu Çöltekin
arzu.coltekin@fhnw.ch

Dr. Leticia Fernandez Moguel
leticia.fernandezmoguel@fhnw.ch

<< zurück