Die Firma Wordline AG produziert Bezahlterminals und möchte deren Funktionalität automatisiert überprüfen können. Aktuell könnnen die Bildschirmausgaben nur manuell von einer Person überprüft werden. Das Ziel ist es, dies zu automatisieren.
C#, Machine Learning, OCR
Das Ziel ist es die aktuelle Bildschirmausgabe automatisch zu überprüfen. Da man den angezeigten Wert aus Sicherheitsgründen nicht vom Terminal selber auslesen kann ist das Ziel die Bildschirmausgaben mit einer Kamera aufzunehmen und dann mittels Machine Learning Technologien zu erkennen.
Die Firma Worldline hat einen Testroboter welches es ermöglicht Tastendrücke und das Einführen der Karte zu Automatisieren. Auch gibt es eine zentrale Extension Rest API, von der aus man den Roboter und das Bezahlterminal ansprechen kann. Jetzt geht es darum den Roboter mit einer Kamera auszustatten und die Extension Rest API zu erweitern.
Im Rahmen dieses Projektes wurden 2 Lösungsansätze implementiert und getestet. Der erste Ansatz ist es die Bildschirme mittels dem angezeigten Text zu überprüfen. Für diesen Ansatz werden Bilder der Bildschirmausgaben gemacht, und so bearbeitet, dass der Text mittel OCR (Texterkennung) ausgelesen werden kann. Anschliessen kann man Anhand des ausgelesenen Textes auf den aktuell angezeigten Bildschirm schliessen. Beim zweiten Lösungsansätz geht es darum ein Machine Learning Modell zu trainieren welches den aktuellen Bildschirm erkennen kann. Beide Lösungsansätze haben funktioniert und können von der Firma Worldline AG eingesetzt und weiterentwickelt werden.
Projektdauer: 1 Semester, Arbeitsaufwand: 360 Stunden, Team: 2 Personen
Worldline Schweiz AG, Hardturmstrasse 201, 8005 Zürich, https://de.worldline.com/de/home.html
Tobias Eng (Informatik), Matthias Lantsch (Informatik)
Hilko Cords (hilko.cords@fhnw.ch), Christoph Stamm (christoph.stamm@fhnw.ch)
