Echtzeit-Tracking chirurgischer Instrumente

Bei ultraschallgeführten, minimalinvasiven Eingriffen an der Hand führen Chirurginnen und Chirurgen ihr Instrument allein anhand eines zweidimensionalen Sonogramms. Diese Arbeit entwickelt ein kamerabasiertes System, das die Lage von Instrument und Sonografiegerät in Echtzeit erfasst und beide Objekte für das Training als dreidimensionale Szene darstellt.

Ein Screenshot eines animiertes Eingriff einer Karpaltunnel-Operation. Rechts im Bild ist das Spirecut-Instrument zu sehen, mit welchem die minimalinvasive Operation mit einem Schnitt durchführen kann. Über dem geöffneten Bereich der Hand sieht man schwach das Sonografie-Gerät.

Ausgangslage

Die Firma Spirecut entwickelt chirurgische Instrumente für ultraschallgeführte, minimalinvasive Eingriffe an der Hand, etwa zur Behandlung von Karpaltunnelsyndrom und Schnappfinger. Der Eingriff erfolgt über einen einzelnen Stichkanal und verlangt eine zweihändige Führung: eine Hand bewegt das Instrument, die andere das Sonografiegerät. Da das Ultraschallbild lediglich einen schmalen Querschnitt des Gewebes zeigt, muss die räumliche Lage des Instruments aus einer zweidimensionalen Darstellung erschlossen werden. Das erfordert Erfahrung und hohe kognitive Aufmerksamkeit, verlängert die Lernkurve und erhöht das Risiko von Fehlpositionierungen. Für das Training fehlte bisher eine unmittelbare räumliche Referenz, die zeigt, wo sich Instrument und Schallkopf tatsächlich zueinander befinden.

Zielsetzung

Ziel war ein robustes, kamerabasiertes Tracking-System, das Position und Orientierung des chirurgischen Instruments und des Sonografiegeräts als 6DoF-Pose in Echtzeit bestimmt und beide Objekte samt der aktuellen Ultraschall-Schnittebene in einer 3D-Szene visualisiert. Als Zielwert für eine flüssige Darstellung wurden 30 Bilder pro Sekunde festgelegt, woraus sich ein Zeitbudget von rund 33 Millisekunden pro Bild ergibt. Untersucht werden sollte, ob sich ein markerbasiertes oder ein markerloses Verfahren für diesen konkreten Anwendungsfall besser eignet – bewertet anhand von Positions- und Orientierungsabweichung, Bildrate, Latenz sowie Robustheit gegenüber veränderter Beleuchtung, Schattenwurf und Verdeckung.

Umsetzung

Für den markerbasierten Ansatz wurde ein Dodekaeder mit elf ArUco-Markern am Griffende des Instruments angebracht – jener Stelle, die in der Analyse öffentlicher Operationsvideos am zuverlässigsten sichtbar bleibt. Ein eigenes Skript wählt aus dem Marker-Wörterbuch ein Subset mit maximaler rotationsinvarianter Hamming-Distanz aus, damit die Marker auch aus schrägen Winkeln nicht verwechselt werden. Aus den erkannten Markerecken und den bekannten 3D-Punkten des Modells berechnen Perspective-n-Point-Verfahren die Pose; ergänzt wird dies durch Plausibilitätsprüfungen und einen Kalman-Filter, der Rauschen glättet und kurze Erkennungsausfälle überbrückt. Als markerlose Alternative wurde FoundationPose in einem separaten Container angebunden und über dieselbe Schnittstelle in die Pipeline eingehängt. Die Visualisierung entstand in Unity, die Bilddaten liefert eine Microsoft Azure Kinect. Für eine reproduzierbare Bewertung wurden vier synthetische Unity-Szenen mit exakt bekannten Referenzposen erzeugt und automatisiert ausgewertet.

Ergebnisse

Entstanden ist eine lauffähige Tracking- und Visualisierungspipeline samt einer systematischen Evaluation ihrer Genauigkeit und Laufzeit. Der markerbasierte Ansatz liefert eine Genauigkeit, die für die räumliche Orientierung im Training ausreicht, und bleibt dabei klar innerhalb des gesetzten Zeitbudgets: Die Posenschätzung beansprucht nur einen Bruchteil der pro Bild verfügbaren Zeit, sodass die Bildrate im Livebetrieb von der Kamera und nicht von der Verarbeitung begrenzt wird. Der markerlose Ansatz FoundationPose blieb dagegen um ein Vielfaches unter der benötigten Bildrate und ist für diesen Echtzeitfall ungeeignet – ein Ergebnis, das die Ausrichtung des Projekts auf das markerbasierte Verfahren begründet.

• Ein mit elf ArUco-Markern bestückter Dodekaeder als Marker-Träger am Instrument, platziert anhand der Sichtbarkeitsanalyse realer Eingriffe.
• Ein Auswahlverfahren für rotationsstabile Marker-Subsets über die maximale Hamming-Distanz.
• Eine Unity-Anwendung mit austauschbaren Posenschätzern hinter einer gemeinsamen Schnittstelle.
• Die Anbindung von FoundationPose als markerloses Vergleichsverfahren über einen containerisierten Prozess.
• Ein Generator für synthetische Bildfolgen mit exakten Referenzposen.
• Eine automatisierte Genauigkeits- und Laufzeitmessung über alle Testszenarien und eine grosse Zahl an Konfigurationen.
• Eine Echtzeitvisualisierung von Instrument, Sonografiegerät und Ultraschall-Schnittebene.

Die Auswertung zeigt, dass keine einzelne Konfiguration gleichzeitig die beste Position und die beste Orientierung liefert – jede Einstellung ist ein Kompromiss zwischen beidem. Kalman-Filterung mit Fortschreibung fehlender Messungen verbessert die Position spürbar und stellt selbst unter Verdeckung durchgehend eine Pose bereit, wirkt sich aber leicht nachteilig auf die Orientierung aus. Verdeckung erwies sich erwartungsgemäss als anspruchsvollste Bedingung. Für das Trainingssystem wurde daher die durchgehende Verfügbarkeit und die stabile Position der dargestellten Pose höher gewichtet als die letzte Feinheit der Orientierungsgenauigkeit.

Die Arbeit zeigt damit, dass sich ein handchirurgisches Instrument mit einer einzelnen RGB-D-Kamera und markerbasierter Posenschätzung echtzeitfähig verfolgen lässt. Als nächste Schritte bieten sich eine Kamera mit höherer Bildrate sowie eine zweite Kameraperspektive an, um die verbleibende Unsicherheit in der Tiefe zu reduzieren.

Technische Schlüsselbegriffe

• 6DoF-PosenschätzungBestimmung von Position und Orientierung eines Objekts im Raum
• ArUco3planare Fiducial-Marker, ausgewählt anhand von Genauigkeit, Reichweite, Robustheit und Rechenaufwand
• Dodekaeder-Marker-TrägerAnordnung nach dem DodecaPen-Prinzip für Sichtbarkeit aus allen Richtungen
• Perspective-n-PointEPnP, SQPnP und iterative Optimierung (Levenberg–Marquardt), optional mit RANSAC
• Kalman-Filterlineares Bewegungsmodell mit konstanter Geschwindigkeit zur Glättung und Überbrückung fehlender Messungen
• FoundationPosemarkerlose Pose-Schätzung für neuartige Objekte ohne objektspezifisches Training
• Microsoft Azure KinectRGB-D-Kamera als gemeinsame Datengrundlage für Farb- und Tiefenbild
• Unity, C#, OpenCVEchtzeitvisualisierung und Bildverarbeitung
• Synthetische Datengenerierunggerenderte Bildfolgen mit exakter Referenzpose als Ground Truth

Kunde

FHNW Institut für Interaktive Technologien
https://www.fhnw.ch/de/informatik/ueber-uns/institute/interaktive-technologien

In Verbindung mit

Spirecut
https://spirecut.com/

Team