f+h fördern und heben 5/2021

PERSPEKTIVEN 02 Struktur

PERSPEKTIVEN 02 Struktur der Pilot-Anwendung mit Hololens und Web-Applikation des Supporters Netzwerk-Server Gilgen Support WebRTC Signaling & DR2 Network Messages Web-Applikation 3D-View Video Display Dark Rift 2 Networking Server Node-dss WebRTC Signaling Server Data Display WebRTC Signaling & DR2 Network Messages Peer-To-Peer WebRTC Video Maintenance Data Exchange Mitarbeiter vor Ort mit Hololens nes Spezialisten durchgeführt werden, ohne dass dieser vor Ort anwesend sein muss. Der Anlagenbetreiber lässt sich bei Wartungen per Remote unterstützen oder kann Reparaturen nach Anweisungen des Spezialisten eigenhändig erledigen. Mit dem Institut für Wirtschaftsinformatik an der Fachhochschule Nordwestschweiz und dem Computer Perception & Virtual Reality Lab des Instituts für Human Centred Engineering der Berner Fachhochschule, fand Gilgen Logistics Partner für die Entwicklung einer entsprechenden Lösung. Zudem wurde das Projekt durch die Innosuisse, der Schweizer Agentur für Innovationsförderung, unterstützt. Da die Basisfunktionen einer Mixed-Reality-Brille bereits heute eingesetzt werden, fokussierte sich das Projektteam auf das Markieren und Animieren von Bauteilen des Intralogistikelements. Damit markiert der Supporter die Komponenten des virtuellen 3D-Modells, die in Farbe deutlich hervorgehoben werden. Mithilfe von Animationen kann dem Mitarbeiter vor Ort die Montagereihenfolge, Position oder Einstellung visuell eingeblendet werden. MÖGLICHES SZENARIO Der Mitarbeiter vor Ort sieht sich mit einem Anlagenproblem konfrontiert, das er ohne Unterstützung eines Spezialisten nicht lösen kann. Der Mitarbeiter setzt seine AR-Brille auf. Über das Mikrofon und Voice-Over-IP ist er mit einem Supporter verbunden, der das Live-Kamerabild der AR-Brille auf seinem Monitor sieht. Über einen Marker erkennt die Brille, um welchen Elementtyp es sich handelt und lädt die entsprechenden 3D-Daten vom Datenserver der Gilgen Logistics herunter. Anschließend wird das Element augmentiert, d. h. das virtuelle 3D-Modell wird über dem realen Element eingeblendet. Der Supporter hat das gleiche 3D-Modell auf seinem PC und kann nun dem Mitarbeiter vor Ort defekte Bauteile markieren, ein- und ausblenden, und ihn bei der Reparatur, Montage oder Störungsbehebung anleiten. Der Mitarbeiter hat jederzeit beide Hände zum Arbeiten frei. TECHNOLOGIE AUS GAME- UND STREAMING- INDUSTRIE Für dieses Pilotprojekt mussten mehrere neue und komplexe IT- Technologien verknüpft werden. Für den Datenaustausch sind mehrere Netzwerk-Server vonnöten. Einerseits wird damit der kontinuierliche Datenfluss für die 3D-Synchronisierung sichergestellt. Da dieser Austausch mit einer geringen Latenz stattfinden muss, wird eine Software verwendet, die auch für Multiplayer Online Games eingesetzt wird. Andererseits ist eine Verknüpfung der beiden Clients (Hololens und Browser-App) erforderlich. Für die Echtzeitkommunikation bedient man sich der Technologie, wie sie aus Videokonferenz-Tools bekannt ist. Damit können der Webbrowser und die Hololens, direkt Video- und Audio- Streams austauschen. Die Hololens ist dabei über WLAN mit dem Internet verbunden. 8 f+h 2021/05 www.foerdern-und-heben.de

PERSPEKTIVEN AUGMENTED REALITY MIT DER MICROSOFT HOLOLENS Gilgen nutzt für die Anwendung die Hololens-Brille von Microsoft. Diese AR-Brille blendet dem Träger 3D-Objekte in den real nicht existierenden Raum ein. Dies geschieht stereoskopisch (für beide Augen getrennt) und in Echtzeit. Der wichtigste Aspekt dabei ist, dass die Brille sehr schnell und präzise die Position und Orientierung und damit auch die Blickrichtung des Trägers bestimmen kann. Die Hololens nimmt dabei den Raum mit einer 3D-Tiefenkamera mit Infrarotsensoren wahr. Für die Generierung der 3D-Grafiken wird die Game Engine Unity verwendet. Die Identifikation der Gilgen-Maschine und die genaue Position mit der Hololens wird über einen QR-Code sichergestellt. Die in der Hololens einblendeten 3D-Objekte werden auch im Browser des Supporters angezeigt. Jedoch kann dieser das 3D- Modell frei bewegen. Das wichtigste Projektziel bestand darin, dass der Supporter in seiner 3D-Darstellung des betroffenen Anlagenbereichs ein Teil auswählen und hervorheben kann. Diese Auswahl wird an die Hololens übertragen. Der Supporter kann dem Mitarbeiter vor Ort so präzise Instruktionen geben, als wenn er neben ihm stehen würde. AUSBLICK „Das Projekt hat uns gezeigt, dass die Augmented Reality in der Intralogistik ein großes Effizienzpotenzial hat“, so Entwicklungsleiter Fricker abschließend. „Durch den Einsatz von Augmented Reality wird die Sicherheit und das Vertrauen des Kunden im 03 Daniel Fricker, Leiter Entwicklung bei Gilgen Logistics, bei der Live-Demonstration des AR-Einsatzes Umgang mit der Anlage erhöht. Mit dem Pilotprojekt konnten wir die Basis für weiterführende Projekte legen. Zum Beispiel bietet es Möglichkeiten bereits ab der Verkaufsverhandlung mit 1:1 Visualisierungen. AR ist für uns mehr als nur eine Spielerei, sondern wird Teil des Gesamtkonzepts.“ Fotos/Grafiken: Gilgen Logistics www.gilgen.com/ar WIR GRATULIEREN ZU DIESEM BEMERKENS­ WERTEN JUBILÄUM. IN DEN VERGANGENEN JAHRZEHNTEN HAT DIE F+H MIT IHRER BERICHT­ ERSTATTUNG BEINAHE DREI GENERATIONEN VON LOGISTIKERN GEPRÄGT. DABEI HAT SIE SICH ALS ZUVERLÄSSIGE INFORMATIONSQUELLE UND ANERKANNTE FACHZEITSCHRIFT ETABLIERT – DIES IN DEN JÜNGSTEN JAHRZEHNTEN NEBEN DEM PRINT­ AUCH IM ONLINE BEREICH. Dr. Giovanni Prestifilippo, Geschäftsführer PSI Logistics 70FÖRDERTECHNIK MATERIALFLUSS LOGISTIK www.foerdern-und-heben.de f+h 2019/10 9