Master-Projekttag Informatik 2023

At the outset of the DeepAnatomy project, we converged upon the question: what potential do various deep-learning based methods have for supporting a qualitative analysis of surgical videos using the example of prostatectomy? In collaboration with the Martini-Klinik in Hamburg, who supplied us with a set of 100 videos of robot-assisted minimally invasive radical prostatectomies, our first goal was to classify frames based on the detection of a single object used during the operation: the specimen bag - a bag used to safely contain the prostate during removal from the patient. Over the course of our project, we built extensions to aid us in video annotation (labeling) and created various pipelines to train a variety of neural networks and perform feature extraction. Among the deep learning methods we tested are: fully connected architectures, convolutional neural networks, transfer learning, recurrent neural networks and transformer models. Centerpiece of our implementation is MevisLab, a powerful modular framework for image processing that has and continues to be developed by MevisLab Medical Solutions AG in close cooperation with the Fraunhofer MEVIS research institute and their deep learning framework RedLeaf.

Waren Sie schon einmal auf dem Mars? Wir schon! Im Projekt “Multi User Space Conquest” entwickeln wir eine Multi-User-VR Anwendung mit Unreal Engine 5.2, die als Simulation für eine geplante Weltraummission im Valles Marineris fungiert. Beim Valles Marineris handelt es sich um ein 4000km langes Grabensystem auf dem Mars, mit einer Tiefe von 7 km und erhöhtem Wasserstoffvorkommen im Boden. Dieses Gebiet möchte das Deutsche Luft- und Raumfahrt Institut explorieren und deswegen wurde das Projekt Valles Marineris Explorer (VaMEx) ins Leben gerufen. Durch MUSC möchten wir die Erforschung des roten Planeten unterstützen und haben deshalb eine virtuelle Nachbildung des Kartenabschnitts "Melas Chasma" gebaut, denn hier wird besonders viel Wasserstoff im Boden vermutet.

Bei MUSC wollen wir anhand wissenschaftlicher Daten, die Umgebung modellieren und den Forscherinnen das Simulieren von Naturereignissen ermöglichen, um eine möglichst qualitative Testumgebung zu schaffen. Da unser Projekt viele verschiedene Facetten beinhaltet, ist für alle Projektteilnehmerinnen eine interessante Thematik dabei. Unsere Themengebiete sind somit weit gefächert und reichen von Modellierung, Networking und VR-Development, bis zur Simulation von Sandstürmen/Windhosen und der Steuerung des Roboter-Schwarms.

IoT (Internet of Things) Geräte sind die unsichtbaren Helden unserer modernen Welt. Sie sind in zahlreichen Anwendungen in unserem Alltag präsent und spielen eine entscheidende Rolle bei der Verbesserung unserer Lebensqualität und der Revolutionierung unserer Technologie. Diese Geräte übernehmen mitunter auch kritische Aufgaben im Bereich der Sicherheit. Daher ist es äußerst wichtig, solche Systeme auf Bugs und Schwachstellen zu überprüfen, um mögliche bösartige Angriffe zu verhindern, die erheblichen Schaden anrichten könnten.

In unserem Projekt führen wir automatisierte Tests an diesen IoT-Geräten durch, um potenzielle Fehler aufzudecken. Wir fokussieren uns auf Fehler beim Speicherzugriff, welche z.B. für die Injektion von schädlichem Code genutzt werden können. Hierbei nutzen wir ein bestehendes Concolic Testing Framework, das es uns ermöglicht, die Software auf virtueller Hardware (virtuellen Prototypen) zu simulieren und zu testen. Im Rahmen des Projekts haben wir dieses Framework und die Fehlererkennung um zusätzliche Funktionen erweitert.

Die virtuellen Prototypen, auch als VPs bekannt, stellen virtuelle Repräsentationen physischer Hardware dar und ahmen deren Verhalten und Eigenschaften nach. Wir verwenden diese, um die Software automatisiert mithilfe dynamischer Analysetools zu testen. Hierbei werden mithilfe von Concolic Testing alle möglichen Ausführungspfade erkundet, um potenzielle Programmfehler zu identifizieren. Zur Visualisierung der Programmabdeckung und zur Lokalisierung möglicher Fehlerquellen haben wir außerdem eine eigene Benutzeroberfläche entwickelt.

Als Proof-of-Concept präsentieren wir voraussichtlich sowohl eine simulierte als auch eine physische Version eines elektrischen Türschlosses, das mit einer RFID-Karte verwendet werden kann. Innerhalb des Mikrocontroller-Codes existieren versteckte Fehler, die zu unvorhersehbarem Programmverhalten und Systemneustarts führen können. Wir werden anhand der Simulation zeigen, wie wir mithilfe unseres Tools mit minimalem Aufwand diese Fehler identifizieren können, um das reale Türschloss sicher zu machen.

Unser Projekt MapLab ist ein virtueller Arbeitsplatz, wo der Benutzer sich von alltäglichen Störungen distanzieren kann: Dabei setzen wir auf ein virtuelles Büro, worauf man von überall aus zugreifen und alltägliche Büro-Aktivitäten sowie zukünftige Projekte umsetzen und vorausplanen kann. Damit man reibungslos an seinem Projekt arbeiten kann, haben wir Funktionen wie das Erstellen und Bearbeiten einer oder mehrerer virtueller 3D-Mindmaps implementiert. Zudem kann man auf einer Whiteboard-Tafel und auf einem Papier mithilfe eines virtuellen Stiftes schreiben und malen. Damit man sich wohl und nicht eingeengt während der Arbeit fühlt, haben wir die Möglichkeit geschaffen, die Landschaften, welche man durch ein Fenster betrachten kann, individuell zu konfigurieren. Dabei kann man zwischen mehreren selbst designten Landschaften wählen. Der Arbeitsraum ist frei navigierbar und alle Aktionen entweder mit Controller oder Handgesten durchführbar. Mit MapLab wollen wir Büroarbeit erleichtern und den Arbeitsplatz zu einem geordneten und stressfreien Ort machen.

Im Projekt Mobile4D entwickeln wir in enger Kooperation mit Partner:innen in Thailand (Hospital for Tropical Diseases der Mahidol University, Bangkok) seit vielen Jahren Softwarelösungen im Bereich Health Informatics. Wie in den Vorjahren sind auch wir wieder im Verlauf des Projekts mit einer Delegation von Projektteilnehmer:innen nach Thailand gereist, um direkt vor Ort mit den Projektpartner:innen zusammenzuarbeiten.

Hierzu gehören unter anderem die folgenden Produkte:

• Ein System zur KI-unterstützen Diagnose von Dengue-Fieber im Frühstadium auf der Basis unspezifischer Symptome wie Fieber, Schmerzen und Übelkeit

• Ein Verfahren zur Vorhersage der Schwere des Krankheitsverlaufs aufgrund regelmäßig erfasster Vitalparameter wie Körpertemperatur, Blutwerte, etc.

• Eine Lösung zur integrierten Erfassung, Verwaltung und Auswertung von Daten von Dengue-Patient:innen in der stationären Betreuung im Krankenhaus

• Ein mobiles System zur Untersuchung und Bekämpfung des Vorkommens von krankheitsübertragenden Stechmücken vor Ort für Public Health Mitarbeiter:innen

• Ein System zur Durchführung klinischer Studien zur Datenerhebung bei Studienteilnehmer:Innen

• Ein digitales Impfpass-System mit Impfnachweisen, Erinnerungen und Empfehlungen für Schutzimpfungen aller Art

Viele der Produkte stehen im Zusammenhang mit der Bekämpfung von Dengue Fieber. Diese Infektionskrankheit wird von Stechmücken übertragen, und sie wird von der World Health Organization (WHO) als eine der sich weltweit am schnellsten ausbreitenden Krankheiten bezeichnet, wobei die Länder Südostasiens hierbei besonders stark betroffen sind.

Das Projekt B-Human nimmt seit 2009 an den Roboterfußballwettbewerben des RoboCup und dessen regionalen Ablegern in der Standard Platform League teil. In dieser verwenden sämtliche Teams den humanoiden Roboter Nao der Firma Aldebaran, um gleiche Hardwarevoraussetzungen zu gewährleisten. Somit konzentriert sich die Arbeit des Projektes vornehmlich darauf, die Software der Roboter weiterzuentwickeln und zu verbessern. Dies umfasst diverse verschiedene Aufgabenfelder, unter anderem Bilderkennung, Lokalisierung sowie autonome Agenten. Dem Projekt B-Human gelang es, aufbauend auf der Software der Vorgänger, bisher zwölfmal die RoboCup GermanOpen für sich zu entscheiden. Auch international ist B-Human äußerst erfolgreich: Insgesamt konnten wir zehn Weltmeistertitel nach Hause bringen, den letzten am 09.07.2023 in Bordeaux.

Dieses Projekt hat sich dieses Jahr unter Anderem mit der Verbesserung der Erkennung von Robotern, der Möglichkeit einen rollenden Ball zu schießen und des technischen Challenges, welche jedes Jahr von der Liga gestellt werden, befasst.

Der Traum, dass intelligente Roboter den Menschen ihre Arbeit abnehmen und den Alltag erleichtern, ist bisher leider recht unerfüllt geblieben.

Im Projekt SUTURO (sudo tidy-up-my-room) möchten wir aber versuchen, uns genau diesen Traum zu erfüllen. Dafür verfolgen wir den Ansatz, dass Hintergrundwissen über Gegenstände, Aktionen, Bewegungen und Orte der Schlüssel ist, um die Robotersoftware in unterschiedlichen Situationen intelligentere Entscheidungen treffen zu lassen.

Aufgabe ist die Bewältigung diverser Haushaltsaufgaben, wie etwa das Einräumen eines Geschirrspülers oder das Zubereiten von Frühstück. Hierfür wird der Toyota HSR verwendet, welcher als einarmiger Roboter die Hardware bereits komplett mitbringt.

Das Projekt bietet dafür die Möglichkeit, in einem von vier Feldern (Planning, Perception, Manipulation und Knowledge), welche die Software des Roboters konstituieren, im Team zusammenzuarbeiten. Nächstes Jahr werden wir wieder am RoboCup@Home 2024 teilnehmen und dort die implementierten Haushaltsaufgaben in einer internationalen Wettbewerbsumgebung zur Schau zu stellen.