Gastbeitrag von Prof. Dr.-Ing. Matthias Weigold, Fachbereich Maschinenbau
Das im Folgenden beschriebene Projekt konnte durch das Förderprogramm „Studentische E-Learning Experten“ unterstützt werden. Dieses wiederum ist Teil des hessenweiten Projekts HessenHub – Netzwerk digitale Hochschullehre.
Zur Vorbereitung auf die Prüfung im Fach Technologie der Fertigungsverfahren (TdF) im Bachelorstudiengang Maschinenbau und zur Förderung des Interesses an der Vorlesungsveranstaltung wird derzeit eine App für mobile Geräte entwickelt, die mithilfe von Augmented Reality (AR) die relevanten Inhalte in Form von Videos und 3D Modellen in die reale Umgebung projiziert. Mithilfe dieser App wird ein völlig neues abwechslungsreiches Lernerlebnis erschaffen. So werden Fertigungsprozesse direkt auf den Schreibtisch projiziert und durch eine intuitive Interaktion gesteuert. Außerdem erscheinen Videos direkt auf markierten Abbildungen im Vorlesungsskript.
In einem früheren Prototyp wurde bereits eine grobe Struktur der App ausprobiert, die als Referenz für die Arbeiten diente. In der neuen Version kommen nun mehr Features zum Einsatz.
Entwicklung der App
Zu Beginn wurde eine Anforderungsliste, die alle notwendigen Funktionen der App beinhaltet, erstellt und evaluiert. Die App wird mit der Unity-Version 2020.3 LTS mit dem zusätzlichen Plugin AR-Foundation programmiert. Mithilfe dieses Plugins können AR-Applikationen für mobile Endgeräte mit Android- und iOS-Betriebssystem erstellt werden. Um die User Experience zu garantieren, wurde mit dem Programm Invision Studio ein grafischer Entwurf der App erstellt. Somit kann direkt die spätere Menüführung und Interaktion mit der App geplant werden. In Invision Studio konnten die Größen der Elemente auf dem Benutzerbildschirm für das optimale Erlebnis angepasst werden. Dieses grafische Design diente als Grundlage für die Programmierung der App. Eine Überprüfung der Augmented Reality Funktion konnte aber erst nach dem Erstellen des Prototyps getestet werden.
Der Prototyp der App wurde in Unity mit der Programmiersprache C# erstellt. Die Funktionen konnten direkt mit einem Smartphone während des Entwicklungsprozesses getestet werden. Dazu wurde das Kamerabild des Smartphones per WLAN an die Entwicklungsumgebung Unity gesendet.
Funktionen der App
Der vorliegende Prototyp der Software beinhaltet mehrere Funktionen. Es wurde ein Menü entwickelt, in dem die Fertigungsschritte einer Welle nachvollziehbar dargestellt werden. Durch Swipen kann der Fertigungsschritt gewechselt werden. Die Welle als zu fertigendes Produkt wird mithilfe von Augmented Reality als virtuelles Objekt in die Umgebung projiziert. Der Fertigungsprozess wird dabei mit Videos und Texten veranschaulicht. Die Videos des entsprechenden Fertigungsschritts erscheinen dabei über dem Modell des Werkstücks. Per Touch-Input kann das Video ebenfalls pausiert, oder zu einem gewünschten Zeitpunkt per Zeitleiste gesprungen werden. Mit dem entsprechenden Fertigungsschritt ändert sich auch das virtuelle Werkstück in seiner Form. Zusätzliche Informationen über den aktuellen Fertigungsschritt können mithilfe eines Textmenüs eingeblendet werden. Zudem kann die Orientierung und Position des Werkstücks per Touch-Input direkt geändert werden. Die Studierenden erhalten so einen detaillierteren Einblick und ein grundlegendes Verständnis über die Herstellung des Bauteils.
Eine weitere Funktion der App stellt das Image Tracking dar. In diesem Menü können ausgewählte Abbildungen des Vorlesungsskriptes für das Einblenden von Videoinhalten verwendet werden. Dazu wird die Kamera des Smartphones auf eine Abbildung als Referenzziel im Skript ausgerichtet. Nun erscheint ein Video in der Umgebung, das direkt auf die Abbildung projiziert wird. Die Wiedergabe kann ebenfalls wieder per Touch-Input gesteuert werden. Allerdings ist für die Verwendung der App eine stabile Internetverbindung erforderlich, da alle Videos per Internet gestreamt werden. Somit kann zum einen der Speicherbedarf der App reduziert werden und zum anderen stetig neues Videomaterial ergänzt werden.
In einem weiteren Untermenü gibt es die Möglichkeiten die rechtlichen Rahmenbedingungen der App zu erfahren. Zudem werden Kontaktmöglichkeiten aufgezeigt, um bei Schwierigkeiten mit der App schnell eine Rückmeldung und Lösungsvorschläge zu erhalten.
Aktueller Stand
Aktuell befindet sich der Prototyp der App in der Testphase. Die Android-Version wird dabei von Mitarbeitenden und studentischen Hilfskräften des Instituts PTW getestet. Ebenfalls wird das Design der App von der Media-Abteilung des Instituts überarbeitet. Die Entwicklung einer iOS-Applikation ist derzeit noch offen, da entsprechende Hardware nicht zur Verfügung steht.
Zudem muss der Code der Software in Unity nochmals überarbeitet und auf Fehler untersucht werden. Falls möglich wird der Code gekürzt und optimiert, um die Performance der Software zu verbessern.
Ausblick
In den kommenden Semestern wird die Applikation als Android-Version im Google-Play-Store veröffentlicht. Studierende können die App bewerten und Hinweise, sowie Verbesserungsvorschläge geben. Mithilfe des Feedbacks der Studierenden wird die App verbessert. Um die App auf iOS-Geräten zu veröffentlichen, ist die Beschaffung der notwendigen Geräte angestrebt. Ebenfalls wird die App mit weiteren Inhalten bestückt. Beispielsweise wird der Fertigungsprozess der Welle noch anschaulicher dargestellt. Dazu werden weitere Effekte eingebettet, um das Erlebnis während der Benutzung der App zu verbessern. Hierzu werden neben dem Werkstück auch weitere Bestandteile des Fertigungsprozesses, wie Werkzeuge oder die jeweilige Werkzeugmaschine eingeblendet. Zusätzlich werden neben dem Fräsprozess einer Welle auch weitere Fertigungsprozesse eingebunden. Augmented Reality eignet sich darüber hinaus auch optimal, um komplexe Strukturen in die Umgebung zu projizieren und von allen Richtungen zu betrachten. Hierzu wird auch der Aufbau von Maschinen gezeigt, ohne dass aufwendige CAD-Software verwendet werden muss.
Darüber hinaus wird die App auch dazu benutzt, um Aufzeichnungen der Vorlesung wiederzugeben. Dadurch entfällt der Zeitaufwand für den manuellen Aufruf und das Einloggen in die Plattform Moodle.
Zukünftig ist angestrebt, dass auch weitere Institute diese Applikationen verwenden, um Inhalte per Augmented Reality zu präsentieren und das Interesse der Studierenden zu wecken. Insbesondere werden Demonstratoren in Augmented Reality im Detail analysiert, die sonst nur in Präsenz betrachtet werden können. Gerade unter schwierigen Pandemiebedingungen bietet diese Technologie einen großen Vorteil.
