Verbesserung der Ortsnamen-Erkennung im FHNW Speech-to-Text Modell.
Text-to-Speech
Speech-to-Text
Synthetische Daten
Schwachstellen
Docker Container
Python
Die Arbeit untersucht, wie das Speech-to-Text Modell der FHNW auf bestimmte Ortsnamen trainiert und verbessert werden kann. Dabei werden Named Entities, die das Modell nicht korrekt verarbeitet, identifiziert und durch ein synthetisches Datenset, erstellt mit einem Text-to-Speech-System, gezielt optimiert. Ein Vergleich zwischen realen und synthetischen Daten zeigt zudem die Wirksamkeit der verschiedenen Trainingsmethoden.
Das Institut für Data Science (I4DS) hat ein qualitativ hochstehendes Speech-to-Text System entwickelt, welches gesprochenes Schweizerdeutsch in hochdeutschen Text übersetzt. Damit lassen sich Reden und Dialoge wie Parlamentsdiskussionen, Mee- tings, Interviews etc. automatisch transkribieren. Ebenfalls können Videos automatisch untertitelt werden. In gewissen Bereichen hat die Speech-to-Text Engine jedoch noch Schwierigkeiten, z.B. mit Uhrzeiten oder Namen, seien es Schweizer Ortschaften, Per- sonen oder Institutionen. Um diese auszumerzen, sollen synthetische Daten generiert werden, welche für das Training der Engine verwendet werden können.
Das Modell zeigte besonders bei Ortsnamen erhebliche Schwächen, unabhängig davon, ob es sich um Personen-, Firmen- oder Ortsnamen handelte. Eine detaillierte Analyse ergab, dass 16 Ortsnamen besonders problematisch waren, darunter "Brugg", "Egg", "Schötz" und "Würenlos", die selten korrekt erkannt wurden. Diese Orte wurden ausgewählt, da sie im Trainings- oder Testdatensatz des STT4SG-350-Korpus selten vorkamen und mindestens 50% der Transkriptionen fehlerhaft waren.
Die Analyse zeigte, dass "Egg" häufig fälschlicherweise als "Ecke" transkribiert wurde, was auf die Schwierigkeit des Modells hinweist, ähnlich klingende Wörter zu unterscheiden. Diese Schwächen verdeutlichen, dass das Modell bei der Erkennung seltener Ortsnamen auf eine präzisere und umfangreichere Datengrundlage angewiesen ist. Die Ergebnisse legen nahe, dass durch gezieltes Training mit spezifischen Datensätzen diese Schwächen potenziell behoben werden können, was im weiteren Verlauf des Projekts untersucht wurde.
Im Rahmen des Experiments wurden verschiedene Trainingsdatensätze erstellt und verwendet, um das Speech-to-Text (STT)-Modell der FHNW gezielt auf die Erkennung bestimmter Schweizerdeutscher Ortsnamen zu trainieren und zu verbessern. Der Schwerpunkt lag dabei auf der Erzeugung und dem Vergleich von synthetischen und realen Audiodaten, um die Effektivität des Trainings zu bewerten.
Zunächst wurden Sätze generiert, die die spezifischen Schwachstellen des STT-Modells enthielten, insbesondere Ortsnamen, die bisher schlecht erkannt wurden. Diese Sätze wurden in zwei Gruppen unterteilt: Trainings- und Testdatensätze. Für das Training wurden zwei unterschiedliche Datensätze erstellt: Der erste Datensatz bestand aus Audiodateien, die mit einem Text-to-Speech (TTS)-System des Instituts I4DS generiert wurden (synthetische Daten). Der zweite Datensatz bestand aus Audiodateien, die von realen Personen aufgenommen wurden (reale Daten). Um eine Vergleichbarkeit zu gewährleisten, wurden für beide Datensätze die gleichen Sätze verwendet.
Die synthetischen Audiodateien wurden über eine API-Schnittstelle an das TTS-System gesendet, das verschiedene Dialekte erzeugen konnte. Reale Audiodateien wurden von zwölf Sprechern in verschiedenen Altersgruppen aufgenommen, um eine breite Palette an Stimmen zu repräsentieren. Die resultierenden Audiodateien wurden überprüft, bearbeitet und in einer Datenbank gespeichert, die für das Training des STT-Modells verwendet wurde.
Das STT-Modell wurde in insgesamt 16 Durchläufen trainiert, wobei verschiedene Kombinationen von synthetischen und realen Daten verwendet wurden. Im ersten Durchlauf wurde eine Basis aus bestehenden Datensätzen erstellt, um eine Grundlage für die weiteren Trainings zu schaffen. In den folgenden Durchläufen wurden diese Basisdaten mit den neu erzeugten synthetischen und realen Samples ergänzt.
Die Trainings wurden in unterschiedlichen Konfigurationen durchgeführt, wobei die Anzahl der Samples variiert wurde (z.B. 1, 4, 8, 16, 32 und 72 Samples pro Ortsname). Ziel war es, herauszufinden, ab welcher Anzahl an Trainingsdaten das Modell die Ortsnamen zuverlässig erkennt und ob es Unterschiede in der Wirksamkeit zwischen synthetischen und realen Daten gibt. In zwei speziellen Durchläufen wurden zudem Tests mit einer anderen Auswahl an Samples und einer veränderten Zufallszahl (Seed) durchgeführt, um die Konsistenz der Ergebnisse zu überprüfen.
Nach jedem Training wurde das STT-Modell mit einem Testdatensatz getestet, der Audiodateien enthielt, die von realen Personen gesprochen wurden. Die transkribierten Ergebnisse wurden daraufhin analysiert, wie gut die Ortsnamen erkannt wurden. Die Erfolgsquote wurde in Prozent gemessen und in Diagrammen dargestellt, um die Entwicklung der Erkennungsgenauigkeit in Abhängigkeit von der Anzahl der Samples zu visualisieren.
Die Ergebnisse zeigten, dass die Erkennungsrate der Ortsnamen generell mit der Anzahl der Trainingsdaten zunahm. Es wurde jedoch festgestellt, dass bei kleineren Trainingsdatensätzen reale Daten tendenziell bessere Ergebnisse lieferten als synthetische Daten. Ab einer bestimmten Menge an Trainingsdaten (etwa 32 Samples) gab es kaum noch signifikante Unterschiede in der Leistung zwischen den beiden Datentypen.
Ein besonderer Fokus lag auf der Analyse des Ortsnamens "Brugg", der häufig fälschlicherweise als "Brücke" transkribiert wurde. Hier zeigte sich, dass eine größere Menge an Trainingsdaten notwendig war, um diesen Fehler zu reduzieren. Mit 72 Samples konnte schließlich eine Erkennungsrate von mindestens 82% bei allen Ortsnamen erreicht werden, unabhängig davon, ob synthetische oder reale Daten verwendet wurden.
Das Experiment verdeutlicht, dass das STT-Modell der FHNW durch gezieltes Training auf Schwachstellen, insbesondere die Erkennung bestimmter Ortsnamen, signifikant verbessert werden kann. Sowohl synthetische als auch reale Daten erwiesen sich als wirksam, wobei synthetische Daten den Vorteil einer einfacheren und schnelleren Generierung bieten. Der Unterschied zwischen synthetischen und realen Daten war bei größeren Datensätzen minimal, was die Eignung synthetischer Daten für das Training solcher Modelle unterstreicht.
| Projektnummer | Projektdauer | Aufwand in Personenstunden | Teamgröße |
|---|---|---|---|
| IP-5 | 06.02.2024 bis 16.08.2024 | 180h pro Student (360h insgesamt) | Zwei Personen |
Fachhochschule Nordwestschweiz FHNW
Bahnhofstrasse 6
5210 Windisch
www.fhnw.ch
Bolliger Florian
Meier Steven
Prof. Dr. Vogel Manfred ¦ manfred.vogel@fhnw.ch
Paonessa Claudio ¦ claudio.paonessa@fhnw.ch
