Ausgangslage

Lehrer an Primarschulen führen häufig Rechtschreibtests durch und müssen diese von Hand korrigieren. Dieser aufwändige und monotone Arbeitsprozess soll mithilfe modernster Technologien unterstützt und teilweise automatisiert werden können.

Es stehen durchgeführte Tests als Beispiele zur Verfügung, eine grosse Menge an aktuell noch analoger Tests sind in Planung digitalisiert zu werden. Dies wird voraussichtlich während dem Projekt passieren können.

Die edu-RD GmbH betreibt noch andere Projekte an der FHNW, deshalb besteht möglicherweise die Option einer Kollaboration zu einem späteren Zeitpunkt.

Zielsetzung

Es soll ein Prototyp eines Webportals gebaut werden, das Lehrpersonen in der Durchführung von Rechtschreibtests unterstützt.

Dabei soll die Lehrperson einen durchgführten Test einscannen und hochladen können um eine automatische Auswertung davon zu erhalten

Diese beinhaltet den vermuteten Bildausschnitt, die Digitalisirung des gefundenen Wortes sowie eine Überprüfung, ob dies dem erwarteten Wort entspricht

Sollte die Lehrperson mit der Evaluation nicht einverstanden sein, kann sie manuell überschrieben werden

Bild des Korrektur-Screens

Um diesen Anforderungen technisch umzusetzen, sind mehrere Komponenten geplant worden

1. Preprocessing: Bildqualität verbessern
2. Objekterkennung: Wörter und Buchstaben auf dem Blatt detektieren
3. Preprocessing 2: Detektierte Buchstaben ausschneiden
4. Klassifizierung: Einzelne Schriftzeichen einlesen und als Buchstaben representieren
5. Zusammensetzung: Erkannte Buchstaben zu Wörteren zusammensetzen
6. Webapplikation: Zentrale Plattform für die Durchführung und Auswertung der Tests

Ergebnisse

Objekterkennung

YOLO5x-Modell nach 600 Epochen, YOLO5m nach 600 und 1200 Epochen

Für die Objekterkennung wird auf YOLOv5 gesetzt. Die Grafik "YOLO5x Modell nach 600 Epochen" zeigt auf, dass die Precision und der Recall bei ca. 95 % liegen. Der Wert Precision gibt Aufschluss darüber, wie viele falsche Voraussagen (false positive) das Modell macht, während der Recall aussagt, wie viele der möglichen Objekte nicht gefunden werden. Dies basieret auf den Trainings und Validierungsdaten.

Für dieses Problem wurde ein Docker YOLOv5 Image durch ein Node / Express Applikation erweitert, damit der Container über eine API ansprechbar ist.

Klassifizierung

Accuracy und Loss des Klassifizierungsmodells nach 25 Epochen

Die Klassifizierungsgenauigkeit liegt bei ca. 91 %. Diese Genauigkeit ist vergleichbar mit den besten Modellen zur Klassifizierung des EMNIST Datensatzes.Die Konfusionsmatrix zeigt auf, dass vor allem Zeichen wie 'n' und 'h' sowie einige Gross- und Kleinschreibungen verwecheslt werden.

Webapplikation

Architektur der Webapplikation

Die Webapplikation wurde in React umgesetzt. Sie wird statisch über das Express Backend exponiert. Die ganze Applikation befindet sich in einem Docker Container.

Projektdaten

IP5

• Projekt Dauer: 17.02.2020 - 20.08.2021
• Aufwand je Student ca. 180 Stunden über 26 Wochen

Das Team bestand aus 2 berufsbegleitenden Studenten BSc Informatik

Das Projekt wurde im engen Dialog durch wöchentliche Meetings mit dem Auftraggeber vorangetrieben.