Gaussian Splatting für grosse Szenen
Bigsplats, eine Pipeline, welche das Trainieren grosser Szenen mit Gaussian Splatting möglich macht.
Auszug aus einer Szene, welche
mit Gaussian Splatting trainiert wurde.
Ausgangslage
Gaussian Splatting rekonstruiert 3D-Szenen aus Bildern, indem die Szene als Menge farbiger, unterschiedlich grosser Gaussian Splats dargestellt wird. Bei sehr grossen Szenen stossen bestehende Verfahren an Grenzen: Durch die grossen Szenen wächst die Anzahl der Splats und somit auch der benötigte Grafikspeicher schnell. Durch die benötigten Bilder, wächst die Trainingszeit exponentiell an. Für Anwendungsfälle wie weitläufige Aussenbereiche (z.B. Park- oder Bahnhofareale) braucht es deshalb einen Ansatz, der grosse Szenen handhabbar macht.
Zielsetzung
Ziel dieser Arbeit ist ein Konzept für eine Pipeline zu entwickeln, welche das Trainieren grosser Szenen mit Gaussian Splatting ermöglicht und diese Pipeline anschliessend zu implementieren. Die Pipeline soll sich für das Gaussian Splatting auf bewährte Methoden stützen und grösstenteils automatisch Ablaufen.
Konzept
Der Ablauf des vorgeschlagenen Pipeline.
Visualisierung der Unterteilung und Bilder
Visualisierung einer trainierten Gruppe
Visualisierung einer zusammengeführten Gruppe
Ablauf mit Bildern
Zeigt den Ablauf der Pipeline mit Bildern pro Schritt.
Referenzszene
Reale Bilder von einer Referenzszene.
Trainierte Szene
Dieselbe Szene, welche mit der Pipeline trainiert wurde.
Fertige Szene
Grossaufnahme der fertigen Szene.
Ergebnisse
Das Ergebnis ist ein Konzept für eine Pipeline, welche die Herausforderungen bei der Anwendung von Gaussian Splatting auf grosse Szenen adressiert. Die Pipeline umfasst dabei folgende Schritte/Features:
- Structure from Motion: Mit COLMAP werden die Positionen der Eingabebilder rekonstruiert.
- Aufteilung: Die grosse Szenen wird in kleinere Teilszenen aufgeteilt
- Gaussian Splatting: Die kleineren Teilszenen werden einzeln trainiert, um die Limitationen von Gaussian Splatting zu umgehen.
- Zusammenführen: Die trainierten Teilszenen werden zu einer Gesamtansicht zusammengeführt und exportiert.
Dieses Konzept wurde als Pipeline mit dem Namen Bigsplats umgesetzt. Bigsplats kann erfolgreich die grossen Szenen analysieren und anschliessend aufteilen. Die aufgeteilten Gruppen werden von Bigsplats mit Nerfstudio trainiert. Diese werden danach wieder zusammengeführt und als Gesamtszene exportiert.
- Gaussian SplattingDarstellung/Training von Szenen als farbige Gaussians
- Structure from Motion (SfM)Schätzung von Kameraposen aus Bildserien
- COLMAPOpen‑Source‑Tool für SfM; liefert Posen und Punktwolken
- Nerfstudio / SplatfactoTraining/Export der Gaussian‑Modelle
- Kd‑TreeGrobe, medianbasierte Raumpartitionierung
- Bounding BoxAchsenausgerichtete Gruppengrenzen
- PLYStandardformat für Punktwolken/Splats
Team
Julian Steinacher
Betreuer*in
Prof. Dr. Hilko Cords