Kompression eines Speech-to-Translation-Modells und anschliessende Integration in eine Android-App.
Python, PyTorch, Deep Learning, Automatische Sprachverarbeitung, Android
Das Ziel dieser Arbeit war es, diverse Kompressionsmethoden auf ein Speech-to-Translation-Modell, das schweizerdeutsche Sprachaufnahmen in hochdeutsche Texte umwandeln, zu evaluieren. Die untersuchten Kompressionsmethoden umfassen Quantisierung, Pruning und Destillierung. Anschliessend sollte das Modell in eine Android Applikation integriert werden.
Das Institut für Data Science der FHNW hat zusammen mit der ZHAW ein Speech-to-Translation-Modell entwickelt, welches unter Verwendung von Daten von SwissNLP mit Finetuning darauf optimiert wurde, schweizerdeutsches Audio in hochdeutschen Text umzuwandeln. Dabei wurden verschiedene Grössen von Modellen evaluiert. Die in dieser Arbeit verwendete Variante besteht aus etwa 300 Millionen Parameter. Die Daten sowie der Code für die Vorbereitung der Daten, das Finetuning und die Evaluierung wurde zur Verfügung gestellt.
Die beste Methode zur Kompression erwies sich als die 8-Bit-Quantisierung. Das quantisierte Modell zeigte eine Verringerung seiner Grösse um den Faktor 3.6 und eine Beschleunigung der Ladezeit auf mobilen Geräten um den Faktor 3.8. Gleichzeitig ist es auf Computern um das 1.5- fache und auf mobilen Endgeräten um das 1.8-fache schneller, während sich die Word Error Rate (WER) lediglich um 1.25% verringerte. Dieses Modell konnte anschliessend erfolgreich mithilfe von PyTorch Mobile in eine Android-Anwendung integriert werden. Auf Knopfdruck kann eine Aufnahme gestartet werden, um einen schweizerdeutschen Satz aufzunehmen. Nach dem Beenden der Aufnahme wird sie automatisch in hochdeutschen Text umgewandelt.
| Projekttyp: | Bachelorarbeit Data Science (P6) |
| Projektdauer: | 20. Februar 2023 - 18. August 2023 |
| Teamgrösse: | 2 Personen |
| Aufwand: | 720 Stunden |
Mario Arteaga, Studiengang Data Science, herson.arteagamendez@students.fhnw.ch
Raphael Strebel, Studiengang Data Science, raphael.strebel@students.fhnw.ch
Dr. Fernando Benites, fernando.benites@fhnw.ch
