E2E Player #2

Das Informatik-Masterprojekt E2E Player #2 ist eine Fortsetzung eines Bachelorprojekts aus dem letzten Jahr. In dem vorangegangenen Projekt wurden selbstfahrende Agenten für das Rennspiel SuperTuxKart, einem Spiel mit Ähnlichkeiten zu Mario Kart, entwickelt. Im Masterprojekt wird stattdessen mit BeamNG gearbeitet. Dieses Programm verwendet Soft-Body Physik, was eine sehr realistische Fahrsimulation ermöglicht. Dies erhöht gegenüber der Verwendung eines simpleren Rennspiels die Komplexität bei der Entwicklung von selbstfahrenden Agenten. Das Ziel ist es, Agenten zu entwickeln, die einen Rennkurs möglichst schnell und unfallfrei befahren können.

Der Anspruch dieses Projekts ist dabei, solche Agenten unter Verwendung von End-to-End-Learning umzusetzen. Dies ist eine Variante des maschinellen Lernens, bei der nicht einzelne Module oder neuronale Netze entwickelt und dann zusammengeführt werden, um eine Anwendungsaufgabe zu lösen. Stattdessen soll ein einziges trainiertes Modell anhand der verfügbaren Eingaben direkt die Lösung der jeweiligen Aufgabe ausgeben. Dies wird in der Regel durch die Verwendung von tiefen neuronalen Netzen ermöglicht, die auch komplexe Aufgaben lernen können zu bewältigen.

Für dieses Masterprojekt wird die End-to-End-Methodik außerdem so interpretiert, dass der Agent nicht mehr Informationen über den Zustand des Rennspiels erhalten soll als ein*e menschliche*r Spieler*in zur Verfügung hat. Diese Zielsetzung war bisher schwierig zu erfüllen und ist etwas, woran noch gearbeitet wird. Bei der Entwicklung der Agenten wurde unter anderem Imitation Learning verwendet, wobei der Agent versucht einen “Experten” zu imitieren. Die wirklich schnellen Agenten wurden aber unter der Verwendung von Reinforcement Learning entwickelt, wobei der Agent für gutes Fahrverhalten belohnt und für schlechtes bestraft wird.

Zur Projekt-Webseite