Wir freuen uns sehr über die Zusammenarbeit mit den Studenten und wir möchten euch kurz vorstellen, in welchen Themengebieten wir uns besonders über eure Unterstützung freuen würden. Kommt gerne mit euren Ideen und Vorstellungen vorbei und wir suchen gemeinsam nach Möglichkeiten, wie ihr eure Abschlussarbeiten, Seminararbeiten, Forschungs- und Projektmodule bei uns erledigen könnt. Für Fragen stehen wir euch jederzeit zur Verfügung.
Vergleich von Loss Funktionen bei KI-getriebenen Partikelsimulationen
Partikelmethoden unterscheiden sich von anderen Machine Learning-Ansätzen durch ihr chaotisches Verhalten. Klassiche Distanzmethoden wie der Mean Squared Error können mit diesem Umstand nicht gut umgehen. Beispielsweise können Partikel innerhalb eines Wassertröpfchens sich chaotisch bewegen, obwohl die insgesamte Geometrie sich nicht verändert. Dadurch entsteht eine Diskrepanz zwischen Trainingsdaten und gelernten Partikeln, was in einem unnatürlich großen Fehler resultiert. Ich befasse mich mit der Verbesserung von KI-gestützter Simulation von großen Partikelsystemen. Mein Arbeit basiert dabei auf dem Paper von Sanchez et al. (Link unter dem Foto).
Ein Ansatz diesen Umstand zu negieren ist die Earth Movers Distance. Dabei werden die Distanzen zwischen allen Partikeln des Trainingsdatensatzs und des Ausgangs des Neuronalen Netzes minimiert, sodass eine aussagekräftige Loss Funktion erhalten wird. Die Methodik ist dabei nicht nur auf diesen Ansatz begrenzt.
Mögliches Vorgehen:
- Recherche von Lossfunktionen im Zusammenhang mit Partikelsystemen
- Einarbeiten in das Julia-Package GNS.jl
- Implementierung der Methoden
- Gegenüberstellen von verschiedenen Ansätzen
- Validierung der Ergebnisse an einem Test-Case
Vorrausstetzungen:
- Keine
- Erste Kenntnisse in Julia oder Python hilfreich
- Interesse an Partikelsimulationen hilfreich
GPU Nachbarschaftssuche für Partikel
Ich befasse mich mit der Verbesserung von KI-gestützter Simulation von großen Partikelsystemen. Mein Arbeit basiert dabei auf dem Paper von Sanchez et al. (Link unter dem Foto). Ein wichtiger Bestandteil dabei ist die Nachbarschaftssuche, die für den Aufbau des Graphen benötigt wird. Dieser Schritt ist zu jedem Simulationszeitpunkt notwendig und wird aktuell immer komplett ausgeführt auch wenn sich der Graph zwischen Zeitschritten nur minimal ändert. Außerdem ist die Suche bisher nur CPU implementiert und nicht parallelisiert.
Vorgehen:
- Recherche von Nachbarschaftssuche-Algorithmen in Julia und Forschung
- Einarbeiten in das Julia-Package GNS.jl
- Implementierung der Methoden
- Gegenüberstellen von verschiedenen Ansätzen
- Validierung der Ergebnisse an einem Test-Case
Vorrausstetzungen:
- Keine
- Erste Kenntnisse in Julia oder Python hilfreich
- Interesse an Partikelsimulationen hilfreich
Evaluation neuer Use-Cases mit Graph Neural Networks
Unser Softwarepaket MeshGraphNets.jl wurde bereits erfolgreich auf verschiedene Use-Cases (z.B. eine Fahrzeugkabine oder eine hydraulische Bremse) innerhalb unserer Projekte angewendet. Hier enden jedoch die Möglichkeiten für die Anwendung nicht, da viele weitere Domänen ähnliche Problemstellungen besitzen.
Mögliche Anwendungsfälle:
- Medizin (z.B. kardiovasuläres System)
- Energienetze (z.B. Windkraftanlagen)
- …
Virtuelle Lerndaten für die soziale Mensch-Roboter-Interaktion - Modellierung und Simulation von Arbeitsprozessen mit Menschen mit Behinderung
In meiner Forschung beschäftige ich mich mit der Vorhersage von menschlichen Fähigkeiten, um damit Robotervrhaltne zu planen und insbesondere Menschen mit Behinderung in ihrem Arbeitsalltag zu unterstützen. Dabei werden Methoden aus der Arbeitsmedizin und dem Maschinellen Lernen kombiniert. Ziel ist, dass eines Tages Personen egal welcher körperlichen Fähigkeiten und Voraussetzungen gemeinsam am Arbeitsalltag teilhaben können.
In dieser Arbeit sollen aufbauend auf einer bestehenden Simulation in OpenSim neue Arbeitsprozesse und Behinderungskomplexe simuliert werden. Der Fokus der Arbeit kann flexibel gelegt werden auf die Bereiche Modellierung oder Solver/Simulation. Die Simulation dient der Generierung künstlicher Lerndaten für die späteren Lernmethoden.
Was wir bieten
- Einblicke in die Mensch-Roboter-Interaktion und medizinisch korrekte Simulation von Menschen
- Lockere Arbeitsathmosphäre
- Flexible Betreuung
- Prüstandsarbeit/Realvalidierung möglich
Was du mitbringst
- Studium der Ingenieursinformatik, Medizininformatik, Informatik, oder ähnliche
- Interesse an Mensch-Roboter-Interaktion und sozialer Teilhabe
- Vorwissen in Simulation wünschenswert
Vorhersage von Leistungsfähigkeit von Menschen durch GPT Modelle
Am Lehrstuhl für Mechatronik untersuchen wir Mensch-Roboter Interaktion von einem besonderen Blickwinkel. Jeder Mensch besitzt Fähigkeiten. Diese lassen sich bereits über arbeitsmedizinische Dokumentationsverfahren bewerten. Gleichsam lassen sich Anforderungen an einen Arbeitsprozess definieren. Über den Vergleich von Fähigkeiten und Anforderungen lässt sich dann auswerten, in welchen Bereichen eine Person eingesetzt werden kann. Das ist besonders dann wichtig, wenn es sich bei den Personen um Menschen mit Behinderung oder alternde Arbeitnehmer handelt, die eben nicht in beliebigen Arbeitsprozessen eingesetzt werden können.
Um dieses Vorgehen in Mensch-Roboter-Systemen einsetzen zu können, muss der Roboter in die Lage versetzt werden, die Fähigkeiten des Menschen automatisch erfassen zu können. In dieser Arbeit soll untersucht werden, inwiefern Multimodale GPT Modelle (auch Vision Language Models genannt) verwendet werden können, um basierend auf Videodaten Vorhersagen über die Leistungsfähigkeit von Personen zu treffen. Dazu sollen verschiedene Ansätze verglichen und erweitert werden, um später Fragen bewerten zu können, wie „Kann die Person die Schraube greifen?“ oder „Kann die Person das Werkzeug bedienen?“.
Deine Aufgaben
- Erstellen eines kleinen Datensatzes mit unserem Prüfstand
- Benchmark bestehender GPT Modelle im Hinblick auf die Vorhersagequalität der Leistungsfähigkeit von Menschen
- Einsatz von Prompt Engineering Techniken, sowie Erweiterung und Fein-Tuning der Modelle
- Anbindung der Methodik an unseren Prüfstand
Du bietest
- Studium der Ingenieursinformatik, Informatik, Medizininformatik, Mathematik oder ähnliche Studiengänge
- Interesse an Mensch-Roboter Teaming und Ergonomie
- Interesse an Maschinellem Lernen
- Gute Deutschkenntnisse in Wort und Schrift
Die Arbeit wird von mir zusammen mit Damian Boborzi betreut.
Weiterentwicklung unserer Softwarepakete für Graph Neural Networks
Die Programmiersprache Julia wächst aktuell stark in ihrer Anwendung sowohl in der Forschung als auch in der Industrie bei großen Unternehmen wie beispielsweise ASML und Bosch. Dabei arbeitet unser Lehrstuhl aktiv an der (Weiter-)entwicklung unser aktuellen Softwarepakete für Julia, besonders im Bereich Graph Neural Networks. Dabei gibt es immer aktuelle Themen die in Angriff genommen werden können um das Paket und die Sprache voranzutreiben.
Dies beinhaltet:
- Entwicklung neuer Funktionen der Pakete
- Mitwirken an Core-Paketen von Julia
- Instandhaltung der aktuellen Software
Kombination von Arbeitmedizin und KI zur Vorhersage menschlicher Fähigkeiten
In meiner Forschung beschäftige ich mich mit der Vorhersage von menschlichen Fähigkeiten, um damit Robotervrhaltne zu planen und insbesondere Menschen mit Behinderung in ihrem Arbeitsalltag zu unterstützen. Dabei werden Methoden aus der Arbeitsmedizin und dem Maschinellen Lernen kombiniert. Ziel ist, dass eines Tages Personen egal welcher körperlichen Fähigkeiten und Voraussetzungen gemeinsam am Arbeitsalltag teilhaben können.
In dieser Arbeit sollen neue Vorhersagemodelle erstellt und validiert werden. Die Modelle bauen auf den bestehenden Standards ICF (International Classification of Functioning, Disability and Health) und IMBA (Inklusion von Menschen mit Behinderung in die Arbeitswelt) auf. Diese sollen in Bayessche Netze überführt und mit vorhandenen Daten vortrainiert werden. Je nach Art und Umfang der Arbeit, soll ebenfalls eine Nutzerstudie durchgeführt werden, um (a) Datne zu gewinnen und (b) die Methode zu validieren.
Was wir bieten
- Einblicke in die Mensch-Roboter-Interaktion und medizinisch korrekte Simulation von Menschen
- Lockere Arbeitsathmosphäre
- Flexible Betreuung
- Prüstandsarbeit/Realvalidierung möglich
Was du mitbringst
- Studium der Ingenieursinformatik, Medizininformatik, Informatik, oder ähnliche
- Interesse an Mensch-Roboter-Interaktion und sozialer Teilhabe
- Vorwissen in Maschinellem Lernen und Bayesschen Netzen wünschenswert
Praktikum Autonomes Fahren Refactoring
Das Praktikum Autonomes Fahren findet in jedem Wintersemester statt. Wenn du bereits an dem Projekt gearbeitet hast, kannst du auch im Sommersemester weiter daran arbeiten. PAF
Konditionierung von Diffusion Modellen
Du findest generative Modelle wie Stable Diffusion oder DALL-E, die anhand von Text detailreiche Bilder erzeugen können, spannend und hast Interesse, dich in aktuelle Machine-Learning-Themen einzuarbeiten?
In dieser Arbeit hast du die Möglichkeit, Methoden wie Stable Diffusion und SV3D genauer kennenzulernen. Stable Diffusion ermöglicht es, Bilder anhand von Text oder anderen Vorgaben zu erzeugen. Bei der Methode SV3D wird ein Bild als Vorgabe verwendet, um mehrere Bilder zu generieren, die das Objekt aus verschiedenen Perspektiven zeigen. Mithilfe dieser Perspektiven können anschließend 3D-Objekte erzeugt werden. In der Arbeit sollen Möglichkeiten untersucht werden, wie Diffsuion Modelle auf andere Eingaben, wie zum Beispiel Zeichnungen, konditioniert werden können und wie sich diese Eingaben auf die Generierung auswirken. Abhängig von der Art der Arbeit können verschiedene Ansätze untersucht werden.
Fine-tuning von Large Reconstruction Models für die 3D Objektgenerierung
Kann man per Knopfdruck 3D-Objekte erzeugen? Generative Modelle wie Stable Diffusion oder DALL-E können bereits beeindruckende Bilder anhand einer Beschreibung auf Knopfdruck erzeugen. Das wäre auch für 3D-Objekte interessant, und tatsächlich lassen sich Methoden der Bildgenerierung auch zur Erzeugung von 3D-Objekten nutzen. Allerdings sind die Ergebnisse oft noch nicht so überzeugend wie im Bildbereich und haben häufig eine lange Rechenzeit.
Large Reconstruction Models (zum Beispiel InstantMesh) sollen vor allem das Problem der langen Rechenzeit lösen, indem ein großes Transformermodell darauf trainiert wird, in einem Durchgang direkt ein 3D-Modell zu erzeugen.
Aus dem Bildbereich kennt man verschiedene Methoden, um große generative Modelle durch Fine-Tuning anzupassen, um einen bestimmten Stil oder eine bestimmte Art von Bildern zu erzeugen. Ähnlich soll in dieser Arbeit untersucht werden, wie ein Large Reconstruction Model mithilfe von Fine-Tuning angepasst werden könnte, um Objekte aus einer bestimmten Domäne, wie beispielsweise Fahrzeuge, besser generieren zu können.
Integration von Robot-SF in SLURM-Umgebung
Im Rahmen dieses Projektmoduls soll die Trainingsumgebung Robot-SF für eine effiziente Nutzung auf unserem Servercluster optimiert werden. Robot-SF ist eine Simulationsumgebung, in der ein Roboter mittels Reinforcement Learning (RL) trainiert wird, sich sicher in einer 2D-Umgebung mit Fußgängern zu bewegen.
Da RL-Methoden sehr ressourcenintensiv sind, ist es das Ziel dieses Projekts, das Training auf unseren Servern zu optimieren. Dazu soll die gesamte Trainingsumgebung für die Ausführung als SLURM-Job angepasst werden. Dies ermöglicht eine effiziente Nutzung der verfügbaren Rechenressourcen und eine bessere Skalierbarkeit des Trainings.
Zusätzlich soll das Tool Weights & Biases integriert werden, um eine umfassende Überwachung und Analyse des Trainingsprozesses zu ermöglichen. Dies wird die Optimierung und Fehlerbehebung des Trainingsablaufs erleichtern.
Durch die Umsetzung dieses Projekts wird Robot-SF für einen breiteren Einsatz auf unserem Servercluster vorbereitet, was zukünftige Forschungs- und Entwicklungsarbeiten in diesem Bereich erheblich unterstützen wird.
Seminararbeit zur Falsifizierung und virtuellen Validierung autonomer Fahrzeuge
Im Rahmen dieser Seminararbeit sollen Sie einen umfassenden Überblick über moderne Methoden zur Falsifizierung und virtuellen Validierung von autonomen Fahrzeugen erarbeiten. Der besondere Fokus liegt dabei auf der Anwendung von Deep Reinforcement Learning (DRL) in diesem Kontext.
Beginnen Sie Ihre Arbeit mit einer Einführung in die Herausforderungen, die bei der Validierung autonomer Fahrzeuge auftreten. Geben Sie anschließend einen Überblick über gängige Methoden der Falsifizierung und virtuellen Validierung, bevor Sie die Grundlagen des Deep Reinforcement Learning im Zusammenhang mit autonomen Fahrzeugen erläutern. Ein zentraler Aspekt Ihrer Arbeit sollte die Anwendung von DRL zur Generierung kritischer Testszenarien sein. Analysieren Sie dabei die Vor- und Nachteile von DRL-basierten Validierungsmethoden und gehen Sie auf die Herausforderungen bei der Erstellung realistischer Simulationsumgebungen ein.
Vergleichen Sie verschiedene DRL-Ansätze zur Aufdeckung von Schwachstellen in autonomen Fahrsystemen und diskutieren Sie die Übertragbarkeit von virtuellen Testergebnissen auf reale Fahrsituationen. Erörtern Sie, wie DRL zur Verbesserung der Robustheit und Sicherheit autonomer Fahrzeuge beitragen kann. Schließen Sie Ihre Arbeit mit einer Diskussion der Grenzen virtueller Validierungsmethoden und einem Ausblick auf zukünftige Forschungsrichtungen in diesem Bereich ab.