Evaluation und Training von Speech Separation Modelle
Python, Machine Learning, SepFormer, SVoice, ConvTasNet
Diese Arbeit hat zum Ziel, ein Speech Separation-System zu implementieren. Es soll in der Lage sein, eine Audiodatei als Eingabe, welche mehrere Sprecher aufweist, zu akzeptieren. Die Sprecher wiederum sprechen für einen Teil der Aufnahme gleichzeitig. Das beabsichtigte Ergebnis sind verschiedene Audiodateien, die jeweils einen einzelnen Sprecher erfassen.
In der heutigen digitalen Ära ist die Automatisierung der Sprachtranskription von unschätzbarem Wert. Sie macht Informationen nicht nur zugänglicher, sondern dient auch einer Vielzahl von Anwendungen, von Dokumentation bis Unterhaltung. Das Institut für Data Science (I4DS) hat eine Speech-to-Text-Systems entwickelt, welches gesprochenes Schweizerdeutsch effektiv in standarddeutschen Text transkribiert. Es funktioniert optimal bei der Transkription einzelner Sprecher, hat aber noch Probleme, wenn mehrere Sprecher gleichzeitig sprechen.
Die Ergebnisse auf Datensätzen für zwei Sprecher und drei Sprecher welchen zusätzlich Noise so wie Hall hinzugefügt wurden waren nicht zufriedenstellend. Am besten hat das vortrainierte Sepformer Modell abgeschnitten. Jedoch wird in den meisten Fällen keine gute Trennung erreicht. Anders sieht es bei Audiodateien aus welche weder Noise noch Hall haben. Hier kann bereits eine gute Trennung erreicht werden.
| Projekttyp: | Bachelorarbeit (P6) |
| Projektdauer: | 1 Semester |
| Teamgrösse: | 2 Personen |
| Aufwand: | 720 Stunden |
Prof. Dr. Manfred Vogel, manfred.vogel@fhnw.ch
