Virtuelle Avatare - Human Gaussian Splats

Aus einem 30 Sekunden langen Handyvideo entsteht ein realitätsnaher, animierbarer 3D-Avatar. Dieses IP5 zeigt, wie das mittels 3D-Gaussian Splatting möglich ist, untersucht die Tauglichkeit von verschiedenen Accessoires wie Rucksäcken, Kopfhörern oder Sportausrüstung und stellt die ganze Pipeline als reproduzierbares Docker-Setup zur Verfügung.

Vier Avatare, generiert mit der Avatar-Pipeline aus Handyvideos.

Ausgangslage

Es existieren bereits verschiedene wissenschaftliche Arbeiten und Open-Source-Projekte, die sich mit dem Erstellen von menschlichen 3D-Gaussian-Splatting-Avataren beschäftigen. Alle haben jedoch gemeinsam, dass sie noch keine durchgängige End-to-End-Pipeline, von Video bis zu fertigem Avatar, implementieren. Viele Arbeiten verwenden dieselbe Handvoll bestehender Datensätze und es ist nur sparsam dokumentiert, wie eigene Videos verarbeitet werden müssen. Auch wurde in diesen Arbeiten die Methode noch nicht auf ihre Limitationen mit verschiedenen Kleidungsstücken und Accessoires wie Mäntel, Hüten, Rucksäcken und mehr geprüft.

Das wurde erreicht

In dieser Arbeit wurde etwas Klarheit in die Vielfalt der bestehenden Arbeiten gebracht. Es ist eine durchgängige Pipeline entstanden, die alle nötigen Verarbeitungsschritte durchführt, um aus einem eigenen Rohvideo einen animierbaren 3DGS-Avatar zu erhalten. Ausserdem wurde das Verfahren auf Herz und Nieren geprüft mit verschiedener Kleidung und Accessoires. Die Pipeline wurde so aufbereitet, dass sie möglichst einfach von Nutzern aufgesetzt und ausgeführt werden kann.

Realisierung

Die umgesetzte Pipeline besteht aus folgenden Schritten:

1. Frames extrahieren
2. OpenPose: 2D Pose erkennen
3. Segmentierungsmasken erstellen & optimieren
4. Romp: 3D-Pose (SMPL-Parameter) erkennen
5. (Optionale Optimierung der Parameter)
6. UV Map erstellen

Danach beginnt das Training bei Schritt 7, bei dem die Gaussians auf das SMPL Körpermodell platziert und optimiert werden. Das Resultat ist ein Avatar, der anschliessend an den Gelenken deformiert und animiert werden kann.

Ergebnisse

Es wurde für die End-to-End-Pipeline erfolgreich ein Konzept erarbeitet und realisiert. Es wurden neun Avatare mit verschiedenen Kleidungsstücken und Accessoires generiert. Die Evaluation der Avatare ergab, dass folgende Eigenschaften besonders gut funktionieren:

• Glatte Oberflächen und homogene Texturen
• Klare Kanten
• Gute Kontraste
• Kleidung, die nahe am Körper liegt
• Kleine Accessoires, die nahe am Körper liegen

Accessoires mit folgenden Eigenschaften produzieren tendenziell visuelle Fehler (Artefakte):

• Löchrige oder ausfransende Accessoires oder Kleidung
• Transparenz
• Falten in Kleidung
• Weite Kleidung und grosse, stark silhouettenverändernde oder körperverdeckende Accessoires
• Unübliche Posen

Animation

Mit Ausblick auf die Folge-Arbeit (IP6) wurden als PoC (Proof of Concept) die Avatare mit AMASS-Animationen zum Leben erweckt.

Technische Schlüsselbegriffe

• Themenbereiche3D Gaussian Splatting, Human Avatar, SMPL, Animation
• VirtualisierungDocker / WSL
• ProgrammiersprachePython, Kotlin
• Verwandte Arbeiten aipixel/GaussianAvatar

Kund:in

Ein FHNW Forschungsprojekt des IIT

Team