Das User Interface setzt sich aus einem physischen Token (Titelleiste oder A4 Blatt), und aus den projizierten Komponenten zusammen. Die Komponenten können unabhängig voneinander durch die Tokens frei auf der Tischoberfläche platziert werden.
Die Lokalisierung und Erkennung der Tokens ist durch eine Kombination von Lampix gelieferter Funktionalität und einem benutzerdefinierten neuronalen Netzwerk realisiert. Lampix wird bereits mit realisierter Objektlokalisierung geliefert.
Die Konturen eines gefundenen Objektes werden dann an ein neuronales Netzwerk geliefert, welches das Objekt klassifiziert. Das verwendete neuronale Netzwerk ist ein verkleinertes VGGNet, welches auf die Erkennung der Farben Rot, Grün, Gelb, Blau und Violet trainiert ist. In einem ersten Schritt zur Beschaffung der Trainingsdaten wurden die ersten 200 Resultate einer Google Bilder Suche nach der Farbe heruntergeladen. Aus diesen 200 Bildern pro Farbe wurden je 100 manuell ausgewählt und verwendet, um das Modell zu trainieren.
Nach der Klassifikation der Farbe wird durch Einsatz eines von Lampix gelieferten QR-Code Scanners der QR-Code eingelesen und die entsprechende Komponente angezeigt.
