Die Arbeit soll die Verwaltung von Kontaktdaten vereinfachen. Dabei kommen klassische Algorithmen und Techniken aus dem Machine Learning zum Einsatz.
Python, BERT, NLP, Edit-Distanz
In dieser Arbeit geht es darum, den Prozess der Adressbereinigung zu unterstützen. Dabei kommen zum einen Werkzeuge aus der NLP und klassische Algorithmen zur Anwendung. Kontaktdaten werden zuerst bereinigt und validiert.
Für die Validierung von Postadressen wird ein Datensatz der Post mit allen 1.8 Millionen Haushalten verwendet und jeweils die Levenshtein Distanz zu diesen berechnet.
Für das Finden von Duplikaten wird ein modifiziertes BERT Modell verwendet, mit dem für jeden Kontakt ein mehrdimensionaler Vektor (ein Embedding) berechnet werden kann. Mittels einem graphbasiertem Clusteralgorithmus werden dann Embeddings gesucht, die nahe beieinander liegen.
Die untersuchten Ansätze sind erfolgsversprechend und helfen bei der Bereinigung von Kontaktdaten. Sie sind über eine entwickelte Webapplikation verfügbar, sodass auch Menschen ohne viele technische Kenntnisse diese verwenden können.
Die verwendeten Modelle können in Zukunft weiter verbessert werden, indem ihre Vorhersagen manuell korrigiert und diese Korrekturen für das weitere Training verwendet werden.
Ein Semester, 180 Stunden pro Person, 2 Personen
