Automatische Erkennung von Werkstücken mit einem Convolutional Neural Network
Tensorflow, Machine Learning, Object Classification, Python, Java, Android
Eine grosse Anzahl unterschiedlichster Werkstücke, welche jedoch alle im Voraus bekannt sind, sollen möglichst automatisch mit Hilfe einer Smartphone-Kamera und entsprechender Software identifiziert werden. Durch eine automatische Werkstückerkennung mit Hilfe eines Smartphones liessen sich in einem Produktionsbetrieb für einzelne Arbeitsschritte auch schlechter qualifizierte Personen einsetzen und somit sinnvoll beschäftigen. In einer kürzlich abgeschlossenen Projektarbeit ist eine gut funktionierende Werkstückerkennung basierend auf Techniken und Tools des maschinellen Lernens entstanden. Dabei handelt es sich um eine Client-Server-Anwendung mit einem mobilen Frontend. Damit das maschinelle Lernen erfolgreich ist, müssen die zu lernenden Objekte (hier Werkstücke) dem Algorithmus in unterschiedlichster Ausrichtung und Beleuchtung präsentiert werden, was sehr zeitaufwändig sein kann, wenn mit einem Smartphone viele Bilder des Werkstückes manuell erstellt werden müssen.
Das Ziel dieser Arbeit ist die Reduktion des Initialaufwandes für das Erlernen eines neuen Werkstückes, wobei es hier primär um die Zeit geht, die von einer Person geleistet werden muss, wenn sie ein neues Werkstück den bereits gelernten hinzufügen möchte.
Für die Bilderzeugung von Objekten ist wichtig, das immer die gleichen, möglichst optimalen, Lichtverhältnisse herrschen.
Da dies – vor allem in einer Werkstatt – fast unmöglich zu bewerkstelligen ist, haben wir eine Box gebaut, in welcher immer die gleichen Lichtverhältnisse herrschen.
Um dem Benutzer das Leben möglichst einfach zu gestalten, gibt es in der Mitte dieser Box eine runde, sich drehende Plattform, auf welche ein Werkstück platziert werden kann. Aussen an der Box wird ein Smartphone in eine Halterung gelegt, welches nun mit der App, die wir dazu entwickelt haben, automatisch Bilder des sich drehenden Werkstücks erzeugt. In einer Zeitspanne von ca. 15 Sekunden werden genug qualitativ hochwertige Bilder des Werkstücks erzeugt, damit das Neuronale Netzwerk genügend Daten für die neue Klassifizierungsklasse hat.
Neuronale Netzwerke sind nicht dazu ausgelegt, dass nach dem vollendeten Training neue Klassen (in diesem Fall Werkstücke) hinzugefügt werden. Bisher war es nur möglich, nach Hinzufügen eines neuen Werkstücks das komplette Netzwerk neu zu trainieren, was sehr viel Zeit in Anspruch nimmt. Um das zu vermeiden, verwenden wir eine Technik namens „Transfer Learning“. Anstatt das komplette Netz neu zu trainieren, behalten wir den Grossteil des Netzwerks gleich und trainieren nur den letzten Teil des Netzes, welcher sozusagen für die Detailerkennung von Bildern zuständig ist, neu. Somit können mit minimalem Genauigkeitsverlust sehr viel Zeit sparen.
BenutzerfreundlichkeitMit unserer Smartphone App kann der Benutzer die oben genannten Funktionen ganz einfach ansteuern. Die App hat folgende Funktionen:
Markus Oehninger (markus.oehninger@fhnw.ch)
Christoph Stamm (christoph.stamm@fhnw.ch)
