AI Stage Technician

Stage-AI transkribiert Theateraufführungen live, verfolgt die momentane Position über einen Abgleich mit dem Regiebuch und löst Licht-, Ton- und Video-Cues automatisch aus. Entwickelt als Proof of Concept und validiert anhand von annotierten Theateraufnahmen von Bühnen Bern.

Ausgangslage

Heute werden im Theater Licht-, Ton- und Videowechsel durch im Regiebuch hinterlegte Stellen ausgelöst, die sogenannten Cues. Bisher werden diese Cues manuell ausgelöst. Die Technikerinnen und Techniker verfolgen die Vorstellung, indem sie das Regiebuch mitlesen, und betätigen im festgelegten Moment die Auslösung der Cues. Für das Mitlesen und die Positionsverortung wird ein grosser Teil ihrer Aufmerksamkeit eingebunden, welche an anderen kreativeren Stellen genutzt werden könnte. Jede Abteilung führt zudem eine eigene Version des Regiebuchs, welche nach Anpassungen immer wieder neu abgeglichen werden muss; damit erhöht sich der Aufwand für die Synchronisierung.

Zielsetzung

Durch die Arbeit wird geprüft, ob sich dieser Ablauf automatisieren lässt. Das Ziel ist es, den gesprochenen Bühnentext live zu transkribieren und fortlaufend mit dem Regiebuch abzugleichen. Eine grafische Benutzeroberfläche soll dem Personal die aktuelle Position zeigen, und die im Regiebuch hinterlegten Cues sollen durch bewährte Bühnenprotokolle (MIDI, OSC) ausgelöst werden. Da im Theaterumfeld Improvisationen und Textsprünge vorkommen, muss das System robust gegenüber diesen Abweichungen sein und nur bei hoher Sicherheit die hinterlegten Cues auslösen. Umgesetzt wurde dieses Ziel als Proof of Concept, welcher drei Fragen beantworten soll: Welche Spracherkennungsmodelle eignen sich für den Live-Einsatz, inwieweit erhöht sich durch die Kombination aus semantischen und lexikalischen Vergleichsverfahren die Stabilität der Positionserkennung, und wie präzise lassen sich die hinterlegten Cues auslösen?

Ergebnisse

Gemessen wurden die Ergebnisse auf 14 annotierten Szenen, welche aus Generalproben von vier Produktionen der Bühnen Bern stammen.

Für den Task der Live-Transkription wurden zwei ASR-Modelle im Streaming-Betrieb (Parakeet, Voxtral) verglichen. Zuerst wurden für beide die besten Konfigurationen gesucht und anschliessend im Langzeitlauf überprüft. Das Ausgabemuster der beiden unterscheidet sich weniger stark durch die Fehlerrate als durch den Fehlertyp: Bei Voxtral sind Auslassungen häufiger vorhanden und bei Parakeet werden phonetisch ähnliche Wörter eher miteinander ersetzt. Für die anschliessende Positionsbestimmung sind gleichmässig verteilte lokale Fehler besser verwertbar als ganze Auslassungen.

Für die Positionsbestimmung wurden zwei Verfahren verglichen: Semantische Verfahren vergleichen die Bedeutung von zwei Texten und lexikalische Verfahren die Wortzusammensetzung. Der erwartete Mehrwert der Kombination ist jedoch nicht eingetroffen. In den Tests scheitert das semantische Verfahren daran, dass die Ausgabe des ASR-Modells nur Wortfragmente liefert und diese den Vergleich der Bedeutung verschlechtern. Bei einem Textsprung erkennt es zwar zuverlässig, dass gesprungen werden muss, findet das korrekte Sprungziel aber nicht, da Umschreibungen viele ähnliche Stellen im Regiebuch haben.

Die Robustheit entsteht stattdessen durch eine Arbeitsteilung in zwei lexikalischen Pfaden: Ein probabilistischer Tracker verarbeitet die Ausgabe des ASRs und eine globale Subsequenz-Suche findet nach Textsprüngen die Position wieder. Die Position wird ununterbrochen durch ein Plausibilitätsmass überwacht; wird sie zu unsicher, werden die Cue-Auslösungen gesperrt, bis die Position wieder bestätigt wurde.

• Circa eine halbe Sekunde Verzögerung zwischen gesprochenem Wort und erkanntem Text.
• Solange die Position als stabil erkannt wird, liegt der gefundene Auslöseanker in 99% der Fälle höchstens zwei Wörter neben der korrekten Position (gemessen gegen die manuelle Abschrift).
• Verfrühte Auslösungen sind nur in 16 von 2490 Auslösepunkten (Anker) aufgetreten.
• Die Modelle verwenden 5,4 und 19,7 GB Grafikspeicher, die Eignung wird nicht durch die Modellgrösse, sondern das Ausgabeverhalten entschieden.

Das System wurde explizit sehr konservativ umgesetzt: Bei Unsicherheiten soll es aussetzen und dem Personal die Cue-Auslösung überlassen. Ein zu später Cue kann manuell aufgefangen werden, jedoch wird ein zu früh ausgelöster vom Publikum als Bühnenfehler gesehen. Der Proof of Concept zeigt damit auf, dass die Positionsverfolgung im Regiebuch und eine darauf aufbauende Cue-Freigabe möglich sind. Ausserhalb des Rahmens sind noch offen: Messungen über die produktiven Ausführungsprotokolle, eine Benutzeroberfläche für die gleichzeitige Bedienung des Regiebuchs und das Hinterlegen der Cues, sowie Betriebshärtung und Erprobung beim Kunden.

Technische Schlüsselbegriffe

• RegiebuchNiederschrift einer Produktion mit allen aufgeführten Texten und technischen Anweisungen.
• CueIm Regiebuch festgelegte Stelle, welche ein technisches Ereignis (Licht, Ton, Video) auslöst.
• ASRAutomatic Speech Recognition, automatische Transkription von gesprochenem Text.
• Text-AlignmentFortlaufender Abgleich des transkribierten Textes gegen das Regiebuch zur Positionserkennung
• Semantisches AlignmentVergleich über die Bedeutung zweier Texte
• Lexikalisches AlignmentVergleich über den Wortlaut, beispielsweise Zeichenfolge oder Lautähnlichkeit
• WERWord Error Rate, Metrik für die Fehlerrate der Spracherkennung auf Wortebene
• MIDI / OSCEtablierte Protokolle der Musik- und Medientechnik für die Ton-, Licht- und Videotechniksteuerung
• Proof of ConceptBeweis der technischen Machbarkeit ohne fertiges Produkt

Kund:in

Bühnen Bern
Nicola Jannuzzo
buehnenbern.ch

Team