Masterarbeit (w/m/d) - KI-Engineer für Drohnenanalyse - Sankt Augustin

Salary: 49.000 - 89.000 € per year

Requirements:

Laufendes Masterstudium in Informatik, Mathematik, Optotechnik oder einem vergleichbaren Studiengang

Gute Programmierkenntnisse in Python sowie praktische Erfahrung mit Deep-Learning-Frameworks (idealerweise PyTorch)

Grundlegendes Verständnis von Computer Vision und Deep Learning. Interesse an multimodalen Modellen (insbesondere VLMs) von Vorteil

Selbstständige und strukturierte Arbeitsweise

Responsibilities:

Einarbeitung in den Stand der Technik zu VLMs, Open-Vocabulary-Ansätzen, kamerabasierter Drohnendetektion und klassischer Payload-Erkennung

Auswahl und Untersuchung geeigneter VLMs zur semantischen Analyse detektierter Drohnen, insbesondere im Hinblick auf ihr Zero-Shot-Potenzial

Entwicklung und Untersuchung geeigneter Prompting- und Inferenzstrategien für die zuverlässige Extraktion semantischer Merkmale

Systematische Evaluation hinsichtlich Erkennungsleistung, semantischer Konsistenz, Robustheit gegenüber Fehlbeschreibungen und Halluzinationen sowie Latenz und Rechenaufwand

Gegenüberstellung ausgewählter VLMs mit klassischen, domänenspezifisch trainierten Verfahren zur Payload-Erkennung

Kritische Analyse und Einordnung der Ergebnisse im Hinblick auf die operative Verwertbarkeit im Überwachungskontext

Dokumentation von Methodik und Ergebnissen in einer schriftlichen Ausarbeitung

Technologies:

Computer Vision

PyTorch

Python

More:

Das Institut für den Schutz terrestrischer Infrastrukturen widmet sich seit seiner Gründung im Jahr 2019 dem Schutz und der Sicherheit kritischer Infrastrukturen. Wir entwickeln Konzepte, Verfahren und Technologien, die die Widerstandsfähigkeit (Resilienz) von Organisationen und Systemen stärken und verbessern. Dabei haben wir sowohl den Menschen, die Technik als auch das Gesamtsystem im Blick. Kamerabasierte Drohnendetektionssysteme lokalisieren potenzielle Drohnen im Bild mithilfe von Bounding Boxes und weisen jeder Detektion einen Konfidenzwert zu. Für eine sicherheitsrelevante Bewertung in urbanen Überwachungsszenarien reichen diese Informationen jedoch häufig nicht aus. Entscheidend sind zusätzlich semantische Merkmale wie Bauform, visuelle Eigenschaften und insbesondere mögliche Nutzlasten, da diese wesentlich zur Einschätzung des Gefährdungspotenzials beitragen können. Vision-Language-Modelle (VLMs) bieten die Möglichkeit, visuelle Drohnendetektionen um semantische Informationen zu ergänzen. Durch die Verknüpfung visueller Merkmale mit sprachlichen Konzepten können sie beispielsweise Aussagen zu Bauform, Ausstattung und potenziellen Nutzlasten ableiten. In Kombination mit einem echtzeitfähigen Detektor entsteht eine zweistufige Verarbeitungskette, in der zunächst relevante Bildregionen lokalisiert und anschließend durch ein VLM analysiert werden. Dadurch entwickelt sich die reine Lokalisierung zu einer semantisch angereicherten Analyse, die als Grundlage für ein operativ verwertbares Lagebild dienen kann.

last updated 38 week of 2026