Digitalisierung und Rendering von Gewebe, Fell und Haaren

Wie lassen sich kulturelle Artefakte mit komplexen Materialien wie Haaren, Fell oder Gewebe realitätsnah digital erfassen und darstellen? Diese Arbeit untersucht moderne Digitalisierungsverfahren und zeigt das Potenzial von Gaussian Splatting für die hochwertige virtuelle Repräsentation anspruchsvoller Objekte.

Ausgangslage

Die Digitalisierung kultureller Artefakte eröffnet neue Möglichkeiten für Forschung, Archivierung und Vermittlung. Besonders Objekte mit feinen Strukturen wie Haare, Fell oder textile Gewebe stellen herkömmliche Erfassungsverfahren wie Photogrammetrie aufgrund ihrer filigranen Geometrie, Transparenz und komplexen Lichtreflexionen vor grosse Herausforderungen. Das Projekt setzt hier an und untersucht moderne Methoden, um solche komplexen Materialien präzise und realitätsnah digital abzubilden.

Zielsetzung

Ziel dieser Arbeit ist es, moderne Digitalisierungsverfahren, insbesondere Gaussian Splatting, zu untersuchen, zu evaluieren und mit etablierten Verfahren wie der Photogrammetrie zu vergleichen. Dabei sollen die Stärken und Grenzen der verschiedenen Ansätze für die realitätsnahe Darstellung komplexer Objekte aufgezeigt werden. Zusätzlich wird eine durchgängige Gaussian-Splatting-Pipeline entwickelt, die den gesamten Prozess von der Aufnahme mittels Video oder Bildsequenz bis zum fertigen 3D-Splat automatisiert abbildet. Die Pipeline soll eine einfache und zugängliche Anwendung ermöglichen, sodass auch Personen ohne vertiefte Vorkenntnisse Gaussian Splats erstellen und nutzen können.

Ergebnisse

Bei der Rekonstruktion von Objekten mit feinen Strukturen gibt es zwei Hauptpunkte, die zu beachten sind. Zum einen die Erfassung und zum anderen die Darstellung.

Erfassung

Photogrammetrie

• Sehr präzise Geometrie
• Stabil für Analyse und Archivierung
• Problem: Feine Fasern werden geglättet, gebündelt oder fehlen vollständig

Gaussian Splatting

• Sehr gute Sichtbarkeit feiner Details
• Haare und Gewebe wirken deutlich realistischer
• Einschränkung: Feine Fasern werden geglättet, gebündelt oder fehlen vollständig

Da feine Strukturen geometisch kaum erfasst werden ist das Gaussian Splatting bei der Erfassung klar im vorteil

Darstellung

Photogrammetrie

• Realistische, aber oft geglättete Darstellung
• Detailverlust bei feinen Oberflächen

Gaussian Splatting

• Hoher Photorealismus bei Haar, Fell und Textilien
• Weiche, natürliche Übergänge
• Schwächen: Artefakte bei sehr dünnen Strukturen

Für bei der Darstellung feiner Strukturen ist Gaussian Splatting klar überlegen.

Limitierungen

Es gibt allerdings auch Grenzen bei der Erfassung und Darstellung feiner Strukturen.

• Mikroskopische Details liegen oft unterhalb der Auflösung
• Photogrammetrie verliert Details in der Geometrie
• Gaussian Splatting bietet keine exakte geometrische Repräsentation

Fazit

Die Beste Lösung ist eine Kombination der beiden Methoden. Photogrammetrie eignet sich für eine präzise Grundgeometrie während Gaussian Splatting die feinen Strukturen besser realistisch darstellen kann

Pipeline

Wie oben bereits angesprochen wurde im Rahmen diese Projekts auch eine Pipeline zum erstellen von Gaussian splats erstellt. Sie ermöglicht es ohne grosses Vorwissen aus einem Video oder einer Bilderreihe einen Gaussian Splat zu trainieren und anschliessend mit dem Viewer zu rendern.

Features

• Import von Bilderreihen, Videos oder .ply Dateien
• Export von .ply Dateien
• Trainings Pipeline für Gaussian Splats
• Viewer für Gaussian Splats

Das Video zeigt den Viewer, der mit Unity umgesetzt wurde.

Technische Schlüsselbegriffe

• Gaussian SplatEine bildbasierte 3D-Repräsentationsmethode, bei der ein Objekt durch viele dreidimensionale Gauß-Verteilungen dargestellt wird, um realistische Ansichten effizient zu erzeugen.
• PhotogrammetrieEin Verfahren zur 3D-Rekonstruktion von Objekten oder Szenen aus überlappenden Fotografien durch die Berechnung räumlicher Informationen.
• Unity, C#Pipeline, UI, Viewer
• BrushTraining von Gaussian Splats
• ColmapStructure-from-Motion Rekonstruktion

Kund:in

Ein Forschungsprojekt des Institut für Interaktive Technologienins der FHNW

Team

Zino Bälli

Betreuer*in
Hilko Cords