Montag, 10. Dezember 2018


AR-Demonstration für Industrieroboter

#Augmented Reality

ar-demonstration-fuer-industrieroboter.jpg

Die Digitalisierung hat die Industrie erreicht und verändert die Arbeitsweise erheblich. Mithilfe von Augmented Reality können Mitarbeiter im Umgang mit Robotern und Industrieanlagen unterstützt werden. Dabei bieten Smart Glasses, wie die Microsoft HoloLens oder Magic Leap, die Möglichkeit, Echtzeitdaten oder virtuelle Objekte, in das Sichtfeld des Betrachters einzublenden.

AR Szenario für die Industrie der Zukunft
Bei UReality wurde eine Demonstration entwickelt, in der die Bewegung eines Roboters vor dessen Inbetriebnahme virtuell in AR simuliert wird. Dadurch bekommt der Betrachter eine Vorschau der realen Bewegung und kann eventuelle Kollisionen des Roboters frühzeitig erkennen. Im Vergleich zu einer klassischen Simulation auf einem Computerbildschirm ist die Vorschau direkt über AR im realen Raum zu sehen. Ist der Betrachter mit der virtuellen Bewegung zufrieden, kann der Roboter nach der Simulation seine Arbeit aufnehmen. Ebenfalls ist der Roboter über ein virtuelles AR-User Interface steuerbar, wodurch physikalische Schalter und Knöpfe am Roboter unnötig sind.

Da im Rahmen der fortschreitenden Digitalisierung Roboter nicht mehr unabhängig voneinander arbeiten, sondern stets ihr Umfeld berücksichtigen, wird der Einsatz von Sensoren zur Wahrnehmung der Außenwelt immer wichtiger. Während der Demonstration werden in AR dem Betrachter die Echtzeitdaten, die von den Sensoren erzeugt werden, visualisiert, so dass der Betrachter permanent über den Zustand des Roboters informiert ist. Das Auslesen der Werte über zusätzlichen Displays oder physikalischen Anzeigen entfällt dadurch.

Umsetzung der Demonstration
Anders als Smartphones und Tablets müssen Smart Glasses nicht permanent mit den Händen gehalten werden, weshalb Smart Glasses optimal für den Gebrauch in der Industrie sind. Für die Demonstration wird die Microsoft HoloLens eingesetzt, der im Moment bekannteste Vertreter der Smart Glasses. Die HoloLens bietet eine große und klare Darstellung, die durch zwei HD 16:9 Lichterzeuger ermöglicht wird. In der HoloLens arbeitet ein Intel Atom x5-Z8100 mit vier logischen Kernen, der für bunte und effektvolle AR-Demonstrationen unerlässlich ist.

Wichtig für die Nutzung von AR ist das Erkennen von Bezugspunkten. Diese Bezugspunkte dienen als eine Art Anker, an denen sich die Smart Glasses orientieren, und wissen, an welcher Stelle im Raum Informationen und virtuelle Objekte dargestellt werden müssen. Die meisten AR-Apps benutzen als Bezugspunkte Marker in Form von Bildern oder Barcodes. Die AR-Demonstration setzt auf die neue Technology der Model-Erkennung, bei der statt zweidimensionalen Marker dreidimensionale Objekte zur Erkennung benutzt werden. Als Model eignen sich am besten statische Gegenstände, bei denen Form und Position nie verändert wird. So ist z.B. ein Roboter ein ungeeignetes Model, da der Roboter je nach Haltung eine andere Form hat. Geeignet als Model sind allerdings statische Bereiche eines Roboters, z.B. der Sockel oder die Basis, wie sie in der Demonstration zum Einsatz kommen.

Der Roboter steht auf einem Sockel, der für die Model-Erkennung verwendet wird

Arbeiten mit den neuesten Werkzeugen
Die grundlegenden Funktionen für die Model-Erkennung liefert die Bibliothek VisionLib von Visometry. Das zu erkennende Model muss dabei sowohl physisch, z.B. als 3D-Druck, als auch als 3D-Datei (OBJ, FBX) vorliegen. Das 3D-Datei darf dabei nur minimal von seiner realen Vorlage abweichen. Auch wenn es in kurzer Zeit möglich ist, mit VisionLib eine lauffähige Model-Erkennung einzurichten, bietet VisionLib viele Einstellungsmöglichkeiten, mit denen die Erkennung gezielt an das zu erkennende Model angepasst werden kann.

Virtueller Sockel als FBX-Datei Realer Sockel, erstellt mit einem 3D Drucker

Aus der 3D-Datei werden Suchlinien erstellt, die mit dem realen Model abgeglichen werden. Stimmen die Suchlinien mit dem realen Model überein, wird das Model erkannt. Die Toleranz und Anzahl der Suchlinien lassen sich individuell an das Model anpassen. Im Wesentlichen wird dabei die Toleranz bzw. die Sicherheit der Erkennung festgelegt. Stellt der Entwickler die Toleranz zu hoch ein, wird das Model zwar schnell erkannt, riskiert aber eventuelle Fehler bei der Erkennung, so dass das zu erkennende Model mit ähnlichen Modellen verwechselt wird. Bei zu geringer Toleranz treten zwar keine Fehler bei der Erkennung auf, die Erkennung des Models wird allerdings zeitaufwändig und mühsam. Die Herausforderung für den Entwickler ist es, den besten Kompromiss zwischen Toleranz und Sicherheit bei der Erkennung zu finden.

Niedrige Laplace-Schwelle Mittlere Laplace-Schwelle Hohe Laplace-Schwelle

Sollen z.B. eher kleinere Details für die Erkennung des Models beachtet werden, kann die Laplace-Schwelle der Modelerkennung verringert werden, wodurch gerade an detaillierten Stellen mehr Suchlinien entstehen. Am besten funktioniert die Erkennung bei Modellen mit harten Kanten, da hier das Erzeugen und Abgleichen der Suchlinien mathematisch einfach ist. Ist dagegen ein eher rundliches Model mit vielen gebogenen Wölbungen vorhanden, muss die aus der Mathematik bekannten Normalen-Schwelle angepasst werden, die angibt, ab welchem Winkel eine Krümmung als harte Kante interpretiert wird.

Roboter trifft auf AR
Als Roboter wird der UArm Swift Pro der Firma UFactory benutzt: ein kleiner und leichter Industrieroboter, der aufgrund seiner Portabilität und Flexibilität optimal für Demonstrationen ist. Sehr praktisch an diesem kleinen Roboter ist die Möglichkeit, Sensoren des Grove Systems, die in der Arduino-Community verbreitet sind, an den Roboter anzuschließen. In der Demonstration kommt ein Lichtsensor zum Einsatz, mit dessen Hilfe die Model-Erkennung erst dann aktiviert wird, wenn optimale Lichtverhältnisse vorherrschen, um einen fehlerfreien Ablauf der Demonstration zu gewährleisten. Ebenfalls vorhanden ist ein Infrarot-Sensor, der erkennt, ob sich ein Gegenstand für den Roboter in greifbarer Nähe befindet. Ist dies der Fall, wird die Saugpumpe des Roboters aktiviert und der Nutzer bekommt über AR angezeigt, dass der Roboter bereit ist, ein Gegenstand aufzunehmen.

Die Demonstration gibt einen kleinen Vorgeschmack, wie in Zukunft die Zusammenarbeit von Mensch und Roboter in der Industrie durch AR bereichert werden kann. Dabei ist der gezeigte Einsatz von AR in Kombination mit Roboter, Sensoren und Echtzeitdaten nur einer der vielen Möglichkeiten, wie AR mit der Industrie der Zukunft verschmolzen werden kann.