VR-LL

Maschinelles Lernen und Roboter rücken immer mehr ins Auge der Öffentlichkeit und werden in der Zukunft ein sehr großes Thema spielen. In der Industrie sind diese schon weit verbreitet, doch auch im Alltag finden Roboter langsam immer mehr Anklang. Dafür müssen die komplexen Handlungsabläufe und das Kooperieren, welche zum Beispiel für das Decken eines Tisches für das Frühstück benötigt werden, von den Robotern erlernt werden. Aber wie und wo kann ein Roboter sowas möglichst natürlich lernen? Am besten, wie wir es auch tun. Durch Beobachtung von Menschen im Alltag. Dafür bietet sich Virtuelle Realität an, um solche Alltagsaufgaben und kooperative Interaktionen zu modellieren. In diesem Projekt würde eine solche Umgebung zur Sammlung, Vernetzung und Aufbereitung von solchen Beobachtungen als Daten geschaffen. Ein besonderes Augenmerk wurde dabei auf die Kooperation gelegt, sodass zwei Personen an verschiedenen Orten gemeinsam in einen virtuellen Raum zusammen Handlungsabläufe durchspielen können.

In unserem Projekt ist das Ziel, dass zwei Teilnehmer in einer 3D-modelierten Küche mit VR-Brillen einen Tisch decken, um mit den daraus generierten Daten Roboter lernen zu lassen. Das zu tun ist wertvoll damit Roboter lernen, wie Menschen miteinander kooperieren und diese Verhaltensweisen imitieren können.

Um das zu ermöglichen hatten wir folgende zwei Aufgabenbereiche:

1. Lab-Linking

Der VR-LL Multiplayer ermöglicht es, dass 2 Personen zusammen von unterschiedlichen Standorten einen Tisch decken können. Dies wird als Lab-Linking bezeichnet. Dabei kommunizieren die beiden Personen nonverbal und verständigen sich somit nur durch Handgesten. Die eine Person übernimmt dabei die Rolle des Servers und die andere Person die Rolle des Clients.

Die Replikation

Die Replikation ermöglicht, dass die Objekte, die verwendet werden, auf beiden Seiten (sowohl Client als auch Server) sichtbar bewegt und umgeschmissen werden können. Dies ist essenziell dafür, dass überhaupt eine Art von Kommunikation zwischen den Teilnehmern stattfinden kann und jeweils sehen können, was die andere Person in Echtzeit tut.

Die Kommunikation mit dem Teilnehmer

Da hier eine nonverbale Kommunikation erfolgt, kann man die Hände dafür nutzen, mit dem anderen Teilnehmer zu interagieren. Beispielsweise kann ein Spieler der anderen Person durch das Zeigen auf einen Gegenstand signalisieren, dass er dieses Objekt nehmen soll. Dafür haben wir für die Spieler nicht nur die Hände repliziert, sondern auch jeweils einen eigenen Körper mit Kopf und Armen, sodass man auf einer vereinfachten Weise sehen kann, wohin der jeweilige Spieler zurzeit hinschaut oder auch hinzeigt.

Zu erwähnen wäre, dass dabei eine externe verbale Kommunikationsplattform benutzt werden könnte, aber dies wäre jedoch nicht unbedingt Teil des Ziels, da die Roboter, die aus diesen Trainingsdaten lernen sollen, nonverbal kommunizieren und Aktionen durchführen.

2. Datenerfassung

Die Kommunikation der Teilnehmer so aufzunehmen, dass ein Roboter davon lernen kann, ist allerdings eine Aufgabe für sich. Denn nicht alle beobachten Ereignisse kann man Objektiv quantifizieren. Für die Daten, wo dies möglich ist, wie z.B. die Position der Gegenstände und der Personen im Raum, werden die Daten in eine Datenbank geschrieben.

Die größte Herausforderung besteht darin das prozedurale Wissen, welches beschreibt was zu einem bestimmten Moment getan und warum es getan wird, zu beschreiben. Ein Beispiel hierfür ist das gemeinsame Tischdecken bei einem Frühstück. Der Roboter muss in der Lage sein, die verschiedenen Schritte zu verstehen, die bei der Vorbereitung des Essens und des Tischdeckens erforderlich sind, und wie diese Schritte zusammenhängen, um ein sinnvolles Ganzes zu bilden. Dazu muss der Roboter die Bedeutung von Gegenständen wie Teller, Besteck und Gläsern verstehen, um zu wissen, wie sie platziert werden sollten. Diese Informationen, wie dass der Tisch gerade gedeckt wird und was für Gegenstände und Schritte für diesen Prozess benötigt werden, wird in Ontologien festgehalten. Zu entscheiden welche dieser beobachtbaren Interaktionen wichtig für den Kontext sind, welche Gestände da dran beteiligt und was für ein Ziel diese Interaktionen haben, ist ein essentieller Schritt damit Roboter aus den Daten lernen können. Dies ausführlich zu modellieren ist wichtig, damit diesen Roboter in Zukunft in der Lage sind Kontext basierte Aufgaben in Kooperation zu erledigen.