Pose Estimation für das Klassenzimmer.
Posenestimation, Bildverarbeitung, Tiefenbildkameras, C++, OpenPose, Intel RealSense
Es soll eine Applikation entwickelt werden, welche es Forschern ermöglicht, die Körperhaltung einer Person als Daten zu erhalten. Dazu werden Körperpositionen, besonders Hüfte und Brust, aus Videos ausgelesen.
Diese Punkte sollen für die weitere Verarbeitung ausgegeben werden.
Die Körperhaltung einer Person gibt Hinweise auf den emotionalen Zustand einer Person. Forscher können dieses Wissen nutzen, um den emotionalen Zustand von Schulkinder zu analysieren.
Momentan wird dafür eine Kinect Kamera verwendet, die im Stande ist, Körperpunkte aus Video zu lesen. Diese Kamera wird jedoch nicht mehr weitergeführt. Es soll deshalb eine neue, moderne Lösung entwickelt werden.
Im Verlauf des Projekts wurde ein Prototyp entwickelt, welche Körperpunkte aus Videostream auslesen kann. Um die Punkte zu erhalten, wurde OpenPose verwendet. Dieses Framework kann verschiedene Körperpositionen in 2D aus Videos auslesen. Um die Punkte auf 3D zu erweitern, wurde die Tiefeninformationkamera Inte RealSense Depth Camera D435i verwendet. Mit diesen Daten lässt sich die Distanz zwischen Brust und Beckenpunkt berechnen und auf die Distanz normalisieren. Der Prototyp erkennt, wann eine Person sich im Bild befindet und wann sie sich wieder entfernt und speichert die Daten als JSON.
Universität Leipzig
Jonas Friedli
Prof. Dr. Christoph Stamm (christoph.stamm@fhnw.ch)
