E2E-Player-3
Im Projekt E2E Player #3 beschäftigen wir uns mit maschinellem Lernen und künstlicher Intelligenz im Kontext von Auto-Rennspielen. Unser Ziel ist es, Agenten zu entwickeln, die in der realistischen Rennsimulation BeamNG eigenständig Rennen fahren können. Dabei bauen wir auf den Ergebnissen des Vorgängerprojektes E2E Player #2 auf und erweitern dessen Ansätze, um die Fähigkeiten unseres Agenten zu generalisieren.
Während sich das vorherige Projekt vor allem darauf konzentrierte, überhaupt funktionierende selbstfahrende Agenten für BeamNG zu entwickeln, gehen wir nun einen Schritt weiter. Unser Fokus liegt darauf, den Agenten vielseitiger zu machen: Er soll sich nicht mehr nur auf einer bestimmten Strecke trainiert werden, sondern auf mehreren Strecken und so auch auf neuen, unbekannten Kursen zurechtkommen – so, wie es ein echter Rennfahrer tun würde. Ebenfalls haben wir die Beschränkung auf ein einziges Fahrzeug aufgehoben und arbeiten daran, dass unser Agent mit beliebigen Fahrzeugen zuverlässig und schnell fahren kann.
Namensgebend ist dabei der sogenannten End-to-End-Ansatz (E2E): Dabei wird nur ein einzelnes Neuronales Netz trainiert, welches die Eingabe verarbeitet und daraus die Steuerungsoutputs bestimmt. Final bekommt der Agent nur die Bilddaten, so als würde er selbst vor dem Computer sitzen und nur auf den Bildschirm schauen können. So basieren die Entscheidungen ausschließlich auf den Informationen, die auch ein menschlicher Spieler hätte.
Um unserem Agenten das Fahren beizubringen haben wir verschiedene Ansätze des Reinforcement Learnings genutzt. Dabei wird die KI durch ein Belohnungssystem trainiert: Gutes Fahrverhalten wird belohnt, Fehler werden bestraft. Auf diese Weise lernt unser Agent selbstständig, immer schneller und sicherer zu fahren, ohne dass menschlicher Input nötig ist.