Wir freuen uns sehr über die Zusammenarbeit mit den Studenten und wir möchten euch kurz vorstellen, in welchen Themengebieten wir uns besonders über eure Unterstützung freuen würden. Kommt gerne mit euren Ideen und Vorstellungen vorbei und wir suchen gemeinsam nach Möglichkeiten, wie ihr eure Abschlussarbeiten, Seminararbeiten, Forschungs- und Projektmodule bei uns erledigen könnt. Für Fragen stehen wir euch jederzeit zur Verfügung.
HiWi für Mensch-Roboter-Kollaboration mit Menschen mit Behinderung
In meiner Forschung beschäftige ich mich mit der Vorhersage von menschlichen Fähigkeiten, um damit Robotervrhaltne zu planen und insbesondere Menschen mit Behinderung in ihrem Arbeitsalltag zu unterstützen. Dabei werden Arbeitsmedizin und datengetriebene Methoden kombiniert. Ziel ist, dass eines Tages Personen egal welcher körperlichen Fähigkeiten und Voraussetzungen gemeinsam am Arbeitsalltag teilhaben können.
Zur Umsetzung eines Projektes mit einer Anwendung der Firma Hama GmbH suche ich ab sofort eine studentische Hilfskraft (Bachelor oder Master) mit bis zu 19 Wochenstunden. Hama lagert momentan das Falten von Sonderverpackungen an Werstätten für Menschen mit Behinderung aus. Da manche Arbeitsschritte feinmotorisch sind, können aber nicht alle Personen an dieser Arbeit teilhaben. Wir wollen untersuchen, wie sich dieser Prozess durch Roboter unterstützten lässt.
Was wir bieten
- Einblicke in die Mensch-Roboter-Interaktion mit Menschen mit Behinderung
- Viele Möglichkeiten zur freien Entfaltung
- Ein hilfsbereites und engagiertes Team
Deine potenziellen Aufgaben
- Konzipierung und Programmierung von Arbeitsprozessen des Roboters in ROS2/Python und auf der Robotersteuerung
- Unterstützung bei der Ausarbeitung und Durchführung von Studien mit Menschen mit Behinderung
- Programmierung und Integration von Computer Vision und Perzeption (Bewegungssensorik, Kameras, LiDAR)
- Hardware- und Software-Integration
Für die Stelle ist kein besonderes Vorwissen nötig, Grundwissen in Robotik, Sensortechnik und deren Programmierung ist aber hilfreich. Du bringst hohe Eigenmotivation und Interesse an den Themen mit und bist bis mindestens bis zum Jahresende verfügbar, dann bist du hier genau richtig. Ich freue mich auf deine Bewerbung (Anschreiben und Notenübersicht, gerne auch informell).
Software für Scientific Machine Learning (SciML)
Wenn mächtige, aber schwerfällige Simulationsmodelle aus der Industrie und nagelneue, flinke Methoden aus dem maschinellen Lernen zusammen kommen, dann kollidideren Welten - dank FMI.jl und FMIFlux.jl bekommt man davon aber (fast) nichts mit. Damit das so bleibt - und wir im Idealfall das “fast” im vorhergehenden Satz bald komplett streichen können - brauchen wir Nachwuchs-Wissenschaftler (HiWi / Forschungsmodul / Projektmodul), die an unseren Open-Source-Paketen FMI.jl und FMIFlux.jl mitwirken wollen. Wenn du sogar schon erste Erfahrungen mit der Entwicklung von Softwarebibliotheken und/oder GitHub hast und diese weiter ausbauen möchtest, dann bist du hier gold-richtig.
Beispielsweise stehen folgende Aufgaben-Pakete bereit:
- Integration von Functional Mock-Up Units (FMUs) über FMI.jl in das ModelingToolkit.jl (MTK)
- Implementierung von Scheduled Execution in FMI.jl
- Implementierung von System Structure and Parameterization in FMI.jl
- …
SciML against AML
Jeder sechste Mensch stirbt laut WHO an Krebs. Dem gegenüber steht der stetige wissenschalftliche Fortschritt auf dem Gebiet der Krebsforschung, sodass viele Krebsarten geheilt werden können wenn sie frühzeitig erkannt und effektiv behandelt werden.
Der Lehrstuhl Mechatronik startet 2025 zusammen mit dem Universitätsklinikum Augsburg Forschung im Bereich der Akuten myeloischen Leukämie (AML). Wir untersuchen, in wie weit wir unseren etablierten Methoden aus dem Scientific Machine Learning (SciML) auch für die Vorhersage des Krankheitsverlaufs bei AML in Behandlung einsetzen können - und idealwerweise sogar neue Erkenntnisse zu dieser Krankheit generieren können.
Bei dieser herausfordernden Forschungsaufgabe kommen verschiedene fachliche Schwerpunkte zusammen, sowohl aus der Medizin selbst, als auch aus dem maschinellen Lernen. Gute Forschung beginnt mit dem Erfassen des aktuellen, internationalen Forschungsstandes. Einen wesentlichen Teil zu diesem ersten Schritt trägst du mit deiner Seminararbeit bei.
Kombination von Arbeitsmedizin und KI zur Vorhersage menschlicher Fähigkeiten
In meiner Forschung beschäftige ich mich mit der Vorhersage von menschlichen Fähigkeiten, um damit Robotervrhaltne zu planen und insbesondere Menschen mit Behinderung in ihrem Arbeitsalltag zu unterstützen. Dabei werden Methoden aus der Arbeitsmedizin und dem Maschinellen Lernen kombiniert. Ziel ist, dass eines Tages Personen egal welcher körperlichen Fähigkeiten und Voraussetzungen gemeinsam am Arbeitsalltag teilhaben können.
In dieser Arbeit sollen neue Vorhersagemodelle erstellt und validiert werden. Die Modelle bauen auf den bestehenden Standards ICF (International Classification of Functioning, Disability and Health) und IMBA (Inklusion von Menschen mit Behinderung in die Arbeitswelt) auf. Diese sollen in Bayessche Netze überführt und mit vorhandenen Daten vortrainiert werden. Je nach Art und Umfang der Arbeit, soll ebenfalls eine Nutzerstudie durchgeführt werden, um (a) Datne zu gewinnen und (b) die Methode zu validieren.
Was wir bieten
- Einblicke in die Mensch-Roboter-Interaktion und medizinisch korrekte Simulation von Menschen
- Lockere Arbeitsathmosphäre
- Flexible Betreuung
- Prüstandsarbeit/Realvalidierung möglich
Was du mitbringst
- Studium der Ingenieursinformatik, Medizininformatik, Informatik, oder ähnliche
- Interesse an Mensch-Roboter-Interaktion und sozialer Teilhabe
- Vorwissen in Maschinellem Lernen und Bayesschen Netzen wünschenswert
Vorhersage von Leistungsfähigkeit von Menschen durch GPT Modelle
Am Lehrstuhl für Mechatronik untersuchen wir Mensch-Roboter Interaktion von einem besonderen Blickwinkel. Jeder Mensch besitzt Fähigkeiten. Diese lassen sich bereits über arbeitsmedizinische Dokumentationsverfahren bewerten. Gleichsam lassen sich Anforderungen an einen Arbeitsprozess definieren. Über den Vergleich von Fähigkeiten und Anforderungen lässt sich dann auswerten, in welchen Bereichen eine Person eingesetzt werden kann. Das ist besonders dann wichtig, wenn es sich bei den Personen um Menschen mit Behinderung oder alternde Arbeitnehmer handelt, die eben nicht in beliebigen Arbeitsprozessen eingesetzt werden können.
Um dieses Vorgehen in Mensch-Roboter-Systemen einsetzen zu können, muss der Roboter in die Lage versetzt werden, die Fähigkeiten des Menschen automatisch erfassen zu können. In dieser Arbeit soll untersucht werden, inwiefern Multimodale GPT Modelle (auch Vision Language Models genannt) verwendet werden können, um basierend auf Videodaten Vorhersagen über die Leistungsfähigkeit von Personen zu treffen. Dazu sollen verschiedene Ansätze verglichen und erweitert werden, um später Fragen bewerten zu können, wie „Kann die Person die Schraube greifen?“ oder „Kann die Person das Werkzeug bedienen?“.
Deine Aufgaben
- Erstellen eines kleinen Datensatzes mit unserem Prüfstand
- Benchmark bestehender GPT Modelle im Hinblick auf die Vorhersagequalität der Leistungsfähigkeit von Menschen
- Einsatz von Prompt Engineering Techniken, sowie Erweiterung und Fein-Tuning der Modelle
- Anbindung der Methodik an unseren Prüfstand
Du bietest
- Studium der Ingenieursinformatik, Informatik, Medizininformatik, Mathematik oder ähnliche Studiengänge
- Interesse an Mensch-Roboter Teaming und Ergonomie
- Interesse an Maschinellem Lernen
- Gute Deutschkenntnisse in Wort und Schrift
Die Arbeit wird von mir zusammen mit Damian Boborzi betreut.
Biases und Muster in der Bewertung menschlicher Fähigkeiten
Maßnahmen in der Rehabilitation werden in Form von Fähigkeitsprofilen dokumentiert, die den Therapieverlauf der Patienten wiedergeben. Ein verbreitetes Verfahren dazu ist IMBA (Integration von Menschen mit Behinderung in die Arbeitswelt). Wir vermuten, dass es innerhalb des Verfahrens versteckte Abhängigkeiten und Biases gibt. Daher soll in dieser Arbeit ein Datensatz von IMBA-Profilen untersucht werden mit dem Ziel Muster zu erkennen und dadurch entsprechende Biases aufzudecken. Die theoretischen Abhängigkeiten zwischen den Fähigkeiten wurden bereits analysiert, diese sollen nach Möglichkeit innerhalb der Arbeit validiert werden. Eine Grundkenntnis in Medizin und dem IMBA-Verfahren ist für die Arbeit nicht nötig.
Ziel der Arbeit
- Analyse von Fähigkeitsprofilen nach Mustern und Biases
- Anwendung geeigneter statistischer Verfahren
- Validierung der theoretischen Abhängigkeiten von Fähigkeiten
Was du mitbringst
- Studium der Ingenieursinformatik, Medizininformatik, Informatik, oder ähnliche
- Interesse an Medizintechnik und Rehabilitation
- Grundwissen in Statistik wünschenswert
Benchmarkprobleme für Partikelsimulationen
Ich befasse mich mit der Verbesserung von KI-gestützter Simulation von großen Partikelsystemen. Das Feld der Fluidsimulationen ist vielseitig und umfasst eine große Anzahl an Anwendungsfällen und Szenarien, die in Papern verwendet werden, um Methoden zu validieren und vergleichen. Etablierte Benchmarkprobleme, die überall Anwendung finden und verschiedene Komplexitätsebenen abbilden gibt es dabei nicht. Eure Aufgabe wäre es sich mit den Szenarien in der Literatur vertraut zu machen und eine Sammlung von Benchmarkproblemen zu erstellen und diese nach Kriterien wie Komplexität zu clustern.
Vorgehen:
- Recherche von Anwendungsbeispielen von Partikelsimulationen
- Festlegen von Kriterien zur Clusterung
- Auswahl von Simulationstool zur Datenerzeugung
- Erstellung von Simulationen, die diese Szenarien mit unterschiedlichen Parametern abbilden
- Vergleich der Ergebnisse mit Literatur
Vorrausstetzungen:
- Keine
- Interesse an Partikelsimulationen hilfreich
Datengetriebene Model Predictive Control
Du hast Kenntnisse in der Regelungstechnik und Interesse an der Integration von KI-Methoden in die Regelungs-/Steuerungsmethoden?
Model Predictive Control ist eine Reglungstechnik, bei der ein System – wie z. B. ein Auto, eine Drohne oder eine Industrieanlage – in die Zukunft “blickt”, um zu entscheiden, was es als Nächstes tun soll. MPC nutzt ein Modell, um vorherzusagen, wie sich das System entwickeln wird. Es plant also im Voraus, indem es berechnet, welche Aktionen (wie Beschleunigen, Bremsen oder Lenken) am besten geeignet sind, um ein Ziel zu erreichen, ohne dabei Einschränkungen zu verletzen (wie z. B. eine maximale Geschwindigkeit oder bestimmte Sicherheitsgrenzen).
Was wir bieten
- Einblicke in den Stand der Technik von probabilistischem Deep Learning
- Einführung von Jax
- Flexible Betreuung
Was du mitbringst
- Vorkenntnisse in Regelungstechnik, Deep Learning, Reinforcement Learning
- Programmierfähigkeit in Python
Datengetriebene Beobachter
Du hast Kenntnisse in der Regelungstechnik und Interesse an der Integration von KI-Methoden in die Regelungs-/Steuerungsmethoden?
In der Regelungstechnik ist ein Beobachter ein System, das aus bekannten Eingangsgrößen (z.B. Stellgrößen oder messbaren Störgrößen) und Ausgangsgrößen (Messgrößen) eines beobachteten Bezugssystems nicht messbare Größen (Zustände) rekonstruiert. Für nichtlineare Systeme mit teilweiser unbekannter Dynamik sind traditionelle Beobachter nur bedingt einsetzbar. Unser Ziel ist es, einen datengesteuerten Beobachter zu entwerfen, der nicht messbare Zustände aus Systemeingaben und -ausgaben lernen kann.
Was wir bieten
- Einblicke in den Stand der Technik von probabilistischem Deep Learning
- Einführung von Jax
- Flexible Betreuung
Was du mitbringst
- Vorkenntnisse in Regelungstechnik, Deep Learning
- Programmierfähigkeit in Python
Evaluation neuer Use-Cases mit Graph Neural Networks
Unser Softwarepaket MeshGraphNets.jl wurde bereits erfolgreich auf verschiedene Use-Cases (z.B. eine Fahrzeugkabine oder eine hydraulische Bremse) innerhalb unserer Projekte angewendet. Hier enden jedoch die Möglichkeiten für die Anwendung nicht, da viele weitere Domänen ähnliche Problemstellungen besitzen.
Mögliche Anwendungsfälle:
- Medizin (z.B. kardiovasuläres System)
- Energienetze (z.B. Windkraftanlagen)
- …
Weiterentwicklung unserer Softwarepakete für Graph Neural Networks
Die Programmiersprache Julia wächst aktuell stark in ihrer Anwendung sowohl in der Forschung als auch in der Industrie bei großen Unternehmen wie beispielsweise ASML und Bosch. Dabei arbeitet unser Lehrstuhl aktiv an der (Weiter-)entwicklung unser aktuellen Softwarepakete für Julia, besonders im Bereich Graph Neural Networks. Dabei gibt es immer aktuelle Themen die in Angriff genommen werden können um das Paket und die Sprache voranzutreiben.
Dies beinhaltet:
- Entwicklung neuer Funktionen der Pakete
- Mitwirken an Core-Paketen von Julia
- Instandhaltung der aktuellen Software
Fine-tuning von Large Reconstruction Models für die 3D Objektgenerierung
Kann man per Knopfdruck 3D-Objekte erzeugen? Generative Modelle wie Stable Diffusion oder DALL-E können bereits beeindruckende Bilder anhand einer Beschreibung auf Knopfdruck erzeugen. Das wäre auch für 3D-Objekte interessant, und tatsächlich lassen sich Methoden der Bildgenerierung auch zur Erzeugung von 3D-Objekten nutzen. Allerdings sind die Ergebnisse oft noch nicht so überzeugend wie im Bildbereich und haben häufig eine lange Rechenzeit.
Large Reconstruction Models (zum Beispiel InstantMesh) sollen vor allem das Problem der langen Rechenzeit lösen, indem ein großes Transformermodell darauf trainiert wird, in einem Durchgang direkt ein 3D-Modell zu erzeugen.
Aus dem Bildbereich kennt man verschiedene Methoden, um große generative Modelle durch Fine-Tuning anzupassen, um einen bestimmten Stil oder eine bestimmte Art von Bildern zu erzeugen. Ähnlich soll in dieser Arbeit untersucht werden, wie ein Large Reconstruction Model mithilfe von Fine-Tuning angepasst werden könnte, um Objekte aus einer bestimmten Domäne, wie beispielsweise Fahrzeuge, besser generieren zu können.
Konditionierung von Diffusion Modellen
Du findest generative Modelle wie Stable Diffusion oder DALL-E, die anhand von Text detailreiche Bilder erzeugen können, spannend und hast Interesse, dich in aktuelle Machine-Learning-Themen einzuarbeiten?
In dieser Arbeit hast du die Möglichkeit, Methoden wie Stable Diffusion und SV3D genauer kennenzulernen. Stable Diffusion ermöglicht es, Bilder anhand von Text oder anderen Vorgaben zu erzeugen. Bei der Methode SV3D wird ein Bild als Vorgabe verwendet, um mehrere Bilder zu generieren, die das Objekt aus verschiedenen Perspektiven zeigen. Mithilfe dieser Perspektiven können anschließend 3D-Objekte erzeugt werden. In der Arbeit sollen Möglichkeiten untersucht werden, wie Diffsuion Modelle auf andere Eingaben, wie zum Beispiel Zeichnungen, konditioniert werden können und wie sich diese Eingaben auf die Generierung auswirken. Abhängig von der Art der Arbeit können verschiedene Ansätze untersucht werden.