Sovereign AI Plattform Engineer (m/w/d/x)

Salary: 45.000 - 75.000 € per year

Requirements:

Mindestens fünf Jahre Erfahrung im Platform Engineering, DevOps, Site Reliability Engineering oder MLOps

Sehr gute Kenntnisse in Kubernetes und Linux

Erfahrung mit KI-Infrastrukturen, Model Serving und LLM-basierten Anwendungen

Erfahrung mit privaten, On-Premises- oder isolierten Deployment-Umgebungen

Gute Kenntnisse in Python, Terraform, Ansible, Helm und GitOps

Fundierte Kenntnisse in den Bereichen Netzwerk, Storage, Zugriffskontrolle und Monitoring

Erfahrung mit GPU-gestützten Plattformen und der Optimierung von KI-Workloads

Sehr gutes Verständnis von IT-Sicherheit, Datensouveränität und auditierbaren Betriebsmodellen

Sehr gute Deutschkenntnisse in Wort und Schrift auf C1-Niveau

Erfahrung mit vLLM, Ollama, llama.cpp oder vergleichbaren Model-Serving-Lösungen

Kenntnisse im Umgang mit Open-Source- oder Open-Weight-Modellen

Erfahrung mit Vektordatenbanken wie Qdrant und Retrieval-Augmented Generation

Kenntnisse in Argo CD, privaten Registries und lokalen Paket- oder Modell-Repositories

Erfahrung mit Open WebUI oder vergleichbaren internen KI-Oberflächen

Kenntnisse in GPU-Scheduling, LLMOps, Observability und Air-Gap-Umgebungen

Erfahrung mit VS-Code-kompatiblen Integrationen und internen KI-Schnittstellen

Responsibilities:

Wir entwickeln, implementieren und betreiben eine sichere und leistungsfähige KI-Toolchain für den Einsatz in isolierten oder besonders geschützten IT-Umgebungen.

Wir gestalten Kubernetes-basierte Plattformen für KI-Inferenz, Retrieval, Experimente und agentenbasierte Anwendungen.

Wir integrieren und betreiben Open-Source- und Open-Weight-Modelle, Model-Serving-Lösungen, Model Gateways, Vektordatenbanken sowie interne Benutzeroberflächen und Schnittstellen.

Wir schaffen mit Infrastructure as Code, GitOps und automatisierten Deployment-Prozessen stabile, reproduzierbare und auditierbare Plattformumgebungen.

Wir verwalten private Registries, lokale Paket- und Modell-Repositories, Secrets, Zugriffsrechte, Storage, Netzwerkkomponenten und Observability-Lösungen in Umgebungen mit eingeschränkter oder vollständig unterbundener Anbindung an öffentliche Cloud-Dienste.

Wir optimieren GPU-, CPU-, Storage- und Netzwerkressourcen für zuverlässige KI-Workloads.

Wir stellen sicher, dass Sicherheits-, Audit- und Datensouveränitätsanforderungen eingehalten werden.

Wir gestalten eine souveräne KI-Plattform für den sicheren Betrieb moderner Large Language Models in isolierten und besonders geschützten IT-Umgebungen.

Wir arbeiten mit Kubernetes, Open-Source- und Open-Weight-Modellen, GPU-gestützten Infrastrukturen, Model Serving, Retrieval, GitOps und Infrastructure as Code.

Wir schaffen stabile, reproduzierbare und auditierbare Plattformen und leisten einen wesentlichen Beitrag zu Datensouveränität, Sicherheit und technologischer Unabhängigkeit.

Technologies:

AI

Ansible

Cloud

DevOps

GitOps

Helm

Kubernetes

LLM

Linux

MLOps

Model Serving

Python

Terraform

vLLM

More:

Wir bei T-Systems International GmbH bieten unseren Geschäftskunden die richtigen Systemlösungen für ihr digitales Business und unterstützen dabei, digitale Transformation zu vereinfachen, Kosten zu senken und die tägliche Arbeit zu erleichtern. Unsere Schwerpunkte sind Konnektivität, Digital, Cloud & Infrastruktur sowie Sicherheit. In dieser Position als Platform Engineer mit Schwerpunkt Sovereign AI gestalten Sie eine souveräne KI-Plattform für den sicheren Betrieb moderner Large Language Models in isolierten und besonders geschützten IT-Umgebungen. Wir bieten flexible Arbeitszeiten, mobiles Arbeiten und ein hybrides Arbeitsmodell, ein wettbewerbsfähiges Gehaltspaket, umfangreiche Weiterbildungs- und Karriereangebote, ein modernes Arbeitsumfeld, eine offene und kollegiale Unternehmenskultur, Gesundheitsangebote sowie Zusatzleistungen wie betriebliche Altersvorsorge, Mitarbeiterrabatte und Jobticket-Optionen. Die Position ist auch in Teilzeit zu besetzen.

last updated 38 week of 2026