Problemstellung Natürliche Interaktionsmöglichkeiten zwischen Mensch und Maschine in der industriellen Fertigung sind aus mehreren Gründen Gegenstand der Forschung: Flexible und autonom organisierte Produktionssysteme im Kontext des Industrie 4.0 Paradigmas führen zu einem veränderten Anforderungsspektrum des Menschen in Produktionsprozessen. Um dieser Komplexität entgegenzuwirken, suchen wir nach intuitiven Bedienmodalitäten – so auch in der Robotersteuerung. In Produktionsumgebungen sind klassische Eingaben (z.B. Tastatur, Maus) häufig unvorteilhaft, etwa aus hygienischen (z.B. Spritzer), sicherheitstechnischen (z.B. visuelle Aufmerksamkeit) oder schlicht haptischen Gründen (z.B. während manueller Handhabung, Tragen von Handschuhen). Zielsetzung / Herangehensweise / Lösung Für den Einsatz von NLP in der Robotik wurde ein multilinguales Sprachinterface basierend auf dem Robot Operating System (ROS) entwickelt. Dieses ROS Speech Interface besteht aus einer Reihe von ROS Packages – die in ein ROS-Netzwerk integriert werden können – welche Mensch-Maschine-Interaktionen anhand von Sprachbefehlen ermöglichen. Nutzen Die Steuerung von Robotern im industriellen Umfeld profitiert von einer Steigerung der Nutzerfreundlichkeit und Akzeptanz durch intuitive Interaktion mit dem Roboter auf der Ebene des menschlichen Benutzers. Ein Vorteil von Sprachsteuerung ist zudem, dass während der Interaktion die Hände für andere Aufgaben frei sind. Dadurch können Produktionsprozesse parallelisiert und beschleunigt werden. Zudem erfolgt keine Verschmutzung von Interface-Geräten.

Video: Demonstrator für Robotik und Digitale Zwillinge

Problemstellung In Flexiblen Fertigungssystemen ist es notwendig, schnell auf veränderte Produkte oder Prozesse reagieren zu können. Der Vorteil von menschlichen Arbeitern gegenüber Robotersystemen liegt offenkundig in der Intuition. Die Schnittstelle zwischen Mensch und Maschine hat sich historisch zu individuellen Anforderungen unterschiedlich entwickelt. Im Kontext zu Industrie 4.0 hat sich das Anforderungsspektrum der Interaktion verändert. Um den sich neuzubildenden Anforderungen entgegenzuwirken, werden Möglichkeiten untersucht, wie man die Intuition des Menschen mit neuen technischen Methoden im Zeitalter Industrie 4.0 vereint. Dadurch sollen konventionelle Bedienmöglichkeiten zwischen Mensch und Maschine, wie beispielsweise die Eingabe durch Maus und Tastatur erweitert und teils substituiert werden. Zielsetzung / Herangehensweise / Lösung Auf Grund verschiedener Vorteile, ein reales System – wie beispielweise eine Anlage in der Industrie – virtuell zu modellieren, ergeben sich Zugriffsmöglichkeiten im Spektrum der Realität und Virtualität. Der intuitive und visuelle Unterschied zwischen der Kommunikation eines Menschen und einer Maschine könnte sich mit der Verschmelzung der realen und virtuellen Welt verringern. Dadurch würde sich die Intuition der Maschine bei der Umsetzung der menschlichen Befehle verbessern. Die HoloLense 2 von Microsoft bietet mit der Unterstützung durch ein Natural User Interface eine interaktive Möglichkeit, 3D-Projektionen in der virtuellen Umgebung darzustellen. Microsoft definiert den Arbeitsbereich der Brille als Mixed-Reality – welche eine Kombination aus Augmented Reality und Augmented Virtuality darstellt. Eine HoloLense 2 kann zu verschiedenen Anwendungszwecken eingesetzt werden. Im Vergleich zum heutigen Stand der Technik illustrieren die Überwachung, Präsentation und der Service – die direkte Steuerung von mechatronischen Systemen – ein eher kleines Forschungsfeld im Bereich der Mixed Reality. Für diesen Anwendungsfall wird eine Roboterzelle in Form einer Delta-Kinematik verwendet, welche eine einfache pick-and-place Bewegung durchführt. Der Roboter spielt das Brettspiel Mühle. Konventionell kann eine Spielstandsänderung per Maus oder Tastatur „händisch“ durchgeführt werden. Diese Mensch-Maschine-Schnittstelle wird durch eine HoloLense 2 substituiert. Somit wurde anhand der HoloLense 2 der Roboter gesteuert. Dafür wurde untersucht, welche Schnittstellen vom Roboter und der HoloLense 2 gemeinsam genutzt werden und wie der Datenaustausch funktioniert, um die Mixed-Reality-Darstellung zu realisieren. Die Ergebnisse zeigen, dass es möglich ist, die Daten des Roboters in Echtzeit anzuzeigen und die Roboterapplikation anhand von Gesten zu steuern. Die Umsetzung des Projektes wird in einzelne Abschnitte unterteilt und in der Software Unity umgesetzt, welche ein 3D-Modell der Applikation benötigt – in unserem Fall das Mühle-Brettspiel. Dazu wird das Mühlefeld als digitaler Zwilling mittels der Software Blender, welche direkt kompatibel mit Unity ist, dargestellt. Zusätzlich wird eine rudimentäre GUI in der HoloLense 2 mit einzelnen Buttons und deren Logik generiert. Um einzelne Spielfelder auswählen zu können, müssen über dem Spielfeldmodell – welches als reines Hologramm existiert – einzelne zusätzliche Buttons generiert werden, welche separat ausgewählt werden können. Die Erzeugung und Ausrichtung des virtuellen Mühlefeldes in der realen räumlichen Umgebung soll anhand eines QR-Codes funktionieren. Der mit am wichtigsten Punkt ist die Kommunikation und Synchronisierung der Spielstände mit der Hauptsteuerung. Diese wird mittels dem Kommunikationsstandards OPC UA umgesetzt. Die Verbindung der HoloLense 2 und dem Systemnetzwerk erfolgt über ein separates Modem. Nutzen Die HoloLense 2 generiert aus einem QR Code das Mühlefeld im Raum. Interaktiv können die Spielsteine per Klick mit einem Finger versetzt werden. Daraufhin wird dem Roboter über ein Bedienmenü neben dem Mühlefeld eine Freigabe erteilt, sodass dieser den Spielzug in der Realität teleoperativ ausführt. In diesem Anwendungsfall ersetzt die HoloLense 2 eine klassische Benutzerinteraktion mit einer Maschine. Die Möglichkeit, weitere modularen System zu integrieren, erlaubt eine Vielfalt von Anwendungsfällen für die HoloLense 2 in Robotersystemen. Die HoloLense 2 gibt Nutzern die Fähigkeit, Zugriff auf unendlich viele visuell darstellbare Informationen zu erlangen. Die Bedienung der HoloLense 2 ist sehr intuitiv und der Kinästhetik des Menschen angepasst.

Video: Demonstrator für Robotik und Digitale Zwillinge