Wearable Haptics für Virtual Reality im Theater
Software zur drahtlosen Übertragung von VRChat-Interaktionen als haptisches Feedback für Theaterbesuchende.
Ausgangslage
Das Kunstkollektiv SOAP nutzt VR-Brillen in Kombination mit haptischen Westen im performativen Kontext, um die Immersion bei interaktiven Theateraufführungen zu steigern. Für eine neue Projektidee, einem digitalen Sleepover in VRChat, lassen sich die Aktuatoren der Westen nicht individuell genug einstellen. Deshalb sollen eigens entwickelte Wearables zum Einsatz kommen, welche neue, behagliche Interaktionen in VR ermöglichen.
Zielsetzung
Ziel dieser Arbeit war die Entwicklung eines flexiblen Prototyps für haptische Wearables mit beliebigem Formfaktor, beispielsweise einer Weste, eines Schulterpads oder einer Decke. Es sollte die benötigte Software für das Steuern der Wearables und die Verbindung mit VRChat entwickelt werden.
Software für Aktuatoren
Für die zur Verfügung gestellte Hardware wurde eine Steuerung in CircuitPython programmiert. Die ESP32-basierten Mikrocontroller empfangen Kommandos von der Desktop-App und schalten Motoren entsprechend ein und aus.
Aus VR zur Weste
Berührungen in der Virtual Reality werden von der Desktop-App über die OSC-Verbindung ausgelesen. Die benötigte Stärke der Vibration wird berechnet und die Anweisungen für die betroffenen Motoren an das Wearable geschickt.
Setup mit Desktop App
In der Desktop-App können den Kollisionszonen in der Virtual Reality Motoren am Wearable zugeordnet werden. Die App ist für Windows und macOS verfügbar und kann zusammen mit dem Dongle die Wearables ansteuern.
Ergebnisse
Die Aktuatoren konnten erfolgreich zu einer haptischen Weste zusammengestellt werden. Die programmierte Firmware der Weste ermöglicht ein präzises und latenzarmes Ansteuern der Aktuatoren. In Kombination mit dem entwickelten Dongle und der Desktop-Software lässt sich die Weste manuell ansteuern oder mit dem Online-Game VRChat verbinden. Innerhalb des Spiels werden die Motoren der Weste bei Berührungen am Avatar ausgelöst und verändern ihre Intensität abhängig von der Distanz der Hand zum Avatar.
- Integration in VRChat: Berührungen am Avatar werden erkannt und in Motorsteuersignale umgewandelt.
- Drahtlose Übertragung von Steuersignalen für das Wearable.
- Geführter Einrichtungsprozess mit grafischer Desktop-Applikation.
- Erfolgreiche End-to-End-Tests mit ersten Nutzern.
- Modulare Architektur: Neue Formfaktoren lassen sich einfach in der Desktop-App konfigurieren.
- Einstellungen von Wearables lassen sich exportieren und teilen.
Der Prototyp mit dem ersten Formfaktor einer Weste ist gelungen. Nun sollen weitere Formfaktoren wie das Schulterpad angefertigt und ausgetestet werden. Das Projekt ist MIT-lizenziert und steht somit auch der Öffentlichkeit zur Verfügung, um eigene, kreative Formfaktoren umzusetzen.
Technische Schlüsselbegriffe
- Haptic WearableKörpergetragene Geräte, welche mit der Haut der tragenden Person interagieren, häufig mithilfe von Vibrationsmotoren.
- Circuit PythonEine schlanke Version der Programmiersprache Python für Mikrocontroller.
- ESP32Kleine, erschwingliche Mikrocontroller der Firma Espressif mit integrierten Drahtlosfähigkeiten.
- ESP-NOWDrahtloskommunikationsprotokoll für direkte Peer-to-Peer-Verbindungen zwischen zwei ESP32-Geräten.
- OSCOpen Sound Control, ein nachrichtenbasiertes Netzwerkprotokoll für Multimediasignale. Offizielle Schnittstelle zu VRChat.
- IoTInternet der Dinge, die Vernetzung von physischen Alltagsgegenständen und Maschinen mit dem Internet.
Kund:in
SOAP Künstlerkollektiv
Some Online Architecture Practice
Bettina Katja Lange & Uwe Brunner
SOAP
Team
Betreuer
Thomas Amberg