Autonome Objekterkennung für Rover und Drohne

Ein Mars-Rover, der Bodenproben im Geröll selbst erkennt, ihre Entfernung misst und beides markiert im Livebild ausgibt, und eine Drohne, die dasselbe aus der Luft leistet.

Erkannte Bodenprobe mit gemessener Entfernung im Livebild der Rover-Kamera

Ausgangslage

Das FHNW Rover Team tritt an der European Rover Challenge an, einem der grössten Robotikwettbewerbe Europas. In einer nachgebauten Marslandschaft lösen selbstgebaute Rover Aufgaben, die realen Raumfahrtmissionen nachempfunden sind: Bodenproben einsammeln, unbekannte Objekte kartieren, Anzeichen von Leben dokumentieren.

All diese Aufgaben setzen voraus, dass Rover und Drohne ihre Umgebung selbstständig wahrnehmen. Ein solches System stand dem Team bisher nicht zur Verfügung. Die Objekte mussten von Hand über die Fernsteuerung gesucht werden. Das kostet im Wettbewerb Zeit und damit Punkte.

Drei Randbedingungen prägen die Aufgabe: Auf dem Rover muss die Erkennung in Echtzeit neben anderen rechenintensiven Prozessen laufen. Für die Drohnensoftware schreibt das Wettbewerbsreglement MATLAB vor. Und für Mars-spezifische Objekte gibt es keine öffentlichen Trainingsdaten. Jedes Trainingsbild musste selbst aufgenommen und beschriftet werden.

Zielsetzung

Ziel der Arbeit ist ein Erkennungssystem, das auf beiden Plattformen einsatzbereit ist. Auf dem Rover soll es die wettbewerbsrelevanten Objekte in Echtzeit erkennen und als eigenständige Komponente in die bestehende Robotik-Plattform eingebunden sein. Zu jedem erkannten Objekt soll die Entfernung bestimmt werden. Die Ergebnisse werden markiert im Livebild ausgegeben und den weiteren Systemen des Rovers bereitgestellt. Für die Drohne ist dieselbe Erkennung in MATLAB umzusetzen, damit sie Proben und Landepunkt aus zwei bis drei Metern Flughöhe findet.

Ergebnisse

Entstanden sind zwei eigenständige Erkennungspipelines, die auf derselben Methodik und Trainingsinfrastruktur aufbauen, aber an die sehr unterschiedlichen Blickwinkel von Rover und Drohne angepasst sind. Für das Training wurden über 2700 eigene Bilder aufgenommen und von Hand beschriftet.

• Beide Modelle erreichen im Training eine Genauigkeit (mAP@0.5) von rund 84 %.
• Im Feldtest auf dem Mars-Yard erkennt der Rover 26 von 36 ausgelegten Proben, auf Aufnahmen, die das Modell nie zuvor gesehen hat.
• Die Drohne findet auf Flugaufnahmen des letzten Wettbewerbs 29 von 35 Proben, ohne eine einzige Fehlmeldung.
• Vom Kamerabild bis zum markierten Bild vergehen auf dem Rover rund 265 Millisekunden, das entspricht etwa sieben Bildern pro Sekunde.
• Die per Stereokamera gemessenen Entfernungen weichen 5 bis 15 % vom Referenzwert ab.
• Erkennungen, Entfernungen und markierte Bilder werden laufend bereitgestellt, für das Dashboard des Rovers ebenso wie für die autonome Navigation.

Ein Zwischenergebnis überraschte: Die Verarbeitung in MATLAB ist praktisch gleich schnell wie die Python-Referenz (6,6 gegenüber 6,9 Bildern pro Sekunde). Das neuronale Netz rechnet in Python zwar mehr als doppelt so schnell, dafür findet MATLAB die Marker am Boden deutlich zügiger. Die beiden Vorteile heben sich fast genau auf. Die vom Reglement vorgeschriebene Plattform kostet also keine Leistung.

Auf dem Rover brachte eine einzelne Änderung den grössten Gewinn: Statt die beiden Stereobilder nacheinander durch das Modell zu schicken, werden sie gemeinsam verarbeitet. Das senkte die Gesamtverzögerung um rund ein Viertel und hob die Bildrate von fünf auf sieben Bilder pro Sekunde.

Offen bleibt die Erkennung von Gestein und unbekannten Objekten. Der Datensatz dafür wurde aufgebaut und beschriftet, für ein belastbares Modell reichten die Aufnahmen jedoch nicht aus. Bis zum Wettbewerb soll dieser Teil über den bestehenden Farbfilter weiterentwickelt werden.

Technische Schlüsselbegriffe

• ObjekterkennungVerfahren, das in einem Bild sowohl findet, wo ein Objekt liegt, als auch bestimmt, worum es sich handelt.
• YOLO11Neuronales Netz, das ein Bild in einem einzigen Durchlauf auswertet und dadurch schnell genug für den Echtzeitbetrieb ist.
• Transfer LearningEin bereits auf Millionen Bildern vortrainiertes Netz wird mit wenigen eigenen Aufnahmen auf die neue Aufgabe angepasst.
• ROS 2Software-Baukasten für Roboter, in dem einzelne Programme über benannte Kanäle Nachrichten austauschen.
• Stereo-VisionZwei nebeneinander montierte Kameras erlauben es, aus dem Bildversatz die Entfernung eines Objekts zu berechnen.
• ZED 2iStereokamera mit 12 cm Linsenabstand, die am Rover montiert ist und die Bilddaten für die Erkennung liefert.
• NVIDIA JetsonKompakter Rechner mit Grafikprozessor, der die Erkennung direkt auf dem Rover ausführt.
• ONNXAustauschformat für neuronale Netze, über das ein in Python trainiertes Modell in MATLAB geladen werden kann.
• HomographieRechenkonzept, das ein schräges Kamerabild einer ebenen Fläche in eine massstabsgetreue Draufsicht überführt.
• mAPGängiges Gütemass der Objekterkennung, das Treffergenauigkeit und Vollständigkeit in einer Zahl zusammenfasst.

Kund:in

FHNW Rover Team
Interdisziplinäres Studierendenteam der FHNW, das jedes Jahr einen Mars-Rover und eine Drohne für die European Rover Challenge baut und 2024 die zehnte Austragung des Wettbewerbs gewonnen hat.
Blog des FHNW Rover Teams

Team