Basierend auf einem Datensatz von 673 dorsal plantaren und 673 lateralen Röntgenbildern des menschlichen Handgelenks welche zum Teil Frakturen des distalen Radius aufweisen, wurden Modelle zur Klassifizierung der Bilder in die Gruppen _fracture_ und _non-fracture_ sowie zur lokalisierung der Frakturlinien erstellt. Dabei wurde gezeigt das eine lokalisierung von Frakturen mit Object Detection Modellen möglich ist. Weiter wurde im Klassifikationstask eine übermenschliche Genaugkeit von 98.5% erzielt.
deep learning, fracture detection, object detection, image segmentation, x-ray imagery
In der Notaufnahme können zu Spitzenzeiten, wenn eine unverhältnismäßig große Zahl von Patienten Hilfe und Diagnose benötigt, die für eine genaue Diagnose erforderlichen Ressourcen fehlen. So kann bei einer großen Anzahl von Patienten nur wenig Zeit für einzelne Personen aufgewendet werden. Zudem sind oft Assistenzärzte im Einsatz, die nicht auf jahrelange Erfahrung und umfangreiches, fundiertes Fachwissen zurückgreifen können. Diese Faktoren können potenziell zu Fehldiagnosen führen. Um dies zu verhindern, wird zunehmend intelligente Software eingesetzt, um den Entscheidungsprozess des handelnden Arztes zu unterstützen. Der Bereich der künstlichen Intelligenz, mit dem Teilbereich Computer Vision, findet immer mehr Anwendung im Gesundheitswesen. In dieser Arbeit untersuchen wir die Möglichkeit der automatisierten Erkennung von Handgelenksfrakturen, genauer gesagt von distalen Radiusfrakturen, in Röntgenbildern unter Verwendung von Deep Learning Methoden. Zu diesem Zweck wurden dorsal plantare und laterale Röntgenaufnahmen der Hand und des Unterarms von 637 Patienten untersucht. Davon wurde bei 408 Patienten eine Fraktur des distalen Radius diagnostiziert. Als Kontrolle wurden 265 gesunde Patienten herangezogen.
Im Rahmen der Studie wurden drei Ansätze untersucht. Zunächst wurde eine einfache binäre Klassifizierung in die Klassen Fraktur und Nicht-Fraktur untersucht. Zu diesem Zweck wurden DenseNet-Architekturen verwendet, die im medizinischen Bereich weit verbreitet sind. Für die Klassifizierung wurden die Modelle nur für die dorsal plantare Ansicht trainiert. In einer späteren Phase wurden Modelle sowohl für die laterale als auch für die dorsale plantare Ansicht trainiert. In einem weiteren Schritt wurden Segmentierungs und Object Detection Ansätze getestet. Die Frakturlinien in den Bildern wurden von einem Arzt manuell nachgezeichnet und dienten als Grundlage für die Segmentierungsaufgabe und ermöglichten die Extraktion von Bounding Boxes, die als Labels für die Objekterkennung verwendet wurden. U-Nets wurden für die Segmentierung der Frakturlinie trainiert, während mehrere YOLOv5 Modelle trainiert wurden, um die Frakturen zu lokalisieren.
Die Segmentierung der Bruchlinie erwies sich als unzureichend genau. Der Schwerpunkt der Arbeit wurde daher auf Modelle zur Objekterkennung verlagert. Im Gegensatz zur anfänglich schlechten Leistung der Segmentierungsmodelle konnte das Potenzial einstufiger Detektoren wie YOLOv5-Architekturen gezeigt werden. Frakturen werden mit einer Intersection of Union-Schwelle von 0,5 und einer Konfidenzschwelle von 0,25 mit einer Präzision von 0,258 erkannt, wobei ein maximaler F1-Score von 0,37 bei einer Konfidenzschwelle von 0,206 erreicht wird. Darüber hinaus wurde ein Klassifizierungsmodell erstellt, das Frakturen mit einer Genauigkeit von 98,5 % und einem AUC von 0,995 erkennt und damit die Genauigkeit der menschlichen Leistung um 18,5 % verbessert. Dies entspricht einer Sensitivität von 0,987 und einer Spezifität von 0,987. Dieses Modell ist sehr gut in der Lage, Frakturen zu erkennen und weist ein erhebliches Potenzial auf.
Im Rahmen dieser Arbeit wurde gezeigt, dass eine Klassifizierung von Röntgenbildern mit distalen Radiusfrakturen sehr gut möglich ist und sogar die menschliche Leistungsfähigkeit übertrifft. Darüber hinaus wurde das Potenzial zur Lokalisierung von Frakturen aufgezeigt. Die erstellten Modelle können mit einem für diese Arbeit entwickelten Tool auf dem Huggingface Showcase getestet werden. Bitte beachten Sie, dass Sie in die bat-RS Organisation auf Huggingface eingeladen werden müssen, um das Dashboard zu sehen. Das Gitlab-Repository ist intern unter Gitlab Repository verfügbar. Bitte kontaktieren Sie den Autor, um zum Dashboard oder zum Repository eingeladen zu werden.
Projektdauer: 1 Semester
Aufwand in Personenstunden: 360h
Teamgrösse: 1 Person
Name, Adresse, Web-Adresse und evt. Logo
Dr. med. Marco Keller
Kantonsspital Baselland Liestal
Rheinstrasse 26
4410 Liestal, Switzerland
Roman Janic Studer, roman.studer1@students.fhnw.ch
Prof. Dr. Martin Melchior, martin.melchior@fhnw.ch
Dr. Cédric Huwyler, cedric.huwyler@fhnw.ch
