Hierarchische Klassifizierung von Rückweisungstexten mittels Transformer-Modellen
Natural Language Processing, Machine Learning, Hierarchische Textklassifikation, Transformer
Beim Universitätsspital Basel (USB) folgen auf die gestellten Rechnungen in einigen Fällen Rückweisungen von Kostenträgern wie Versicherungen. Damit die Rückweisungen intern an die richtige Abteilung weitergeleitet werden können, werden diese zuvor vom USB hierarchisch klassifiziert. Ursprünglich wurde diese Aufgabe von Hand durch Mitarbeitende durchgeführt. Im Umfang einer Bachelor-Thesis von 2021 wurde dies mittels einem TF-IDF und SVM-Modell teilautomatisiert. Aktuell kann dieses Verfahren im produktiven Einsatz 19 % der Rückweisungen klassifizieren. Der Grossteil der Rückweisungen wird demnach weiterhin von Hand klassifiziert.
Mit neusten Deep Learning Verfahren soll im Umfang dieser Arbeit dieser automatische Klassifizierungsprozess verbessert werden. Um dieses Ziel zu erreichen, werden drei Ansätze basierend auf modernen Transformer-Modellen implementiert und evaluiert.
er beste Ansatz, basierend auf einem hierarchischen Encoder-Verfahren, kann 61.1 % der Rückweisungen mit einer Präzision von 92.2 % klassifizieren. Ähnliche Resultate werden mit einem Decoder-basierten Ansatz und auch mit einem Embedding-Similarity-Modell erzielt. Zusätzlich wurde das Vorgängermodell durch eine Anpassung des Optimierungsverfahrens verbessert. Dabei wurde die Präzision um 2.5 % reduziert, was eine Erhöhung der Trefferquote um 21 % ermöglichte. Damit kann dieses Modell auch mit den drei verwendeten Ansätzen mithalten. Aufgrund der fast gleich guten Resultate wurde untersucht, weshalb die Deep Learning Verfahren keinen grösseren Vorteil bei der Klassifizierung zeigen. Mit Analyse- und Interpretierungsverfahren konnte gezeigt werden, dass die Datenqualität eine weitere Steigerung der Klassifizierungsperformance hemmt.
Projektdauer: 21.02.2024 - 16.08.2024
Aufwand: 720 Stunden
Teamgrösse: 2
the i-engineers
Badenerstrasse 141
8004 Zürich
Universitätsspital Basel
Petersgraben 4
4031 Basel
Carl von Burg
Luca Plozner
Dr. Fernando Benites
fernando.benites@fhnw.ch
