AI Systems Engineer (m/w/d) - LLM Execution & Infra Optimization
Deutsches Krebsforschungszentrum (DKFZ)
69 Heidelberg, Deutschland
Home-Office
30.9.2025
Vollzeit
Mehrjährige Berufserfahrung
- Sie verantworten die technische Infrastruktur für die Bereitstellung von Large Language Models (LLMs) auf unserer High-End-GPU-Hardware. Ihre Arbeit gewährleistet hochperformante und skalierbare Lösungen für alle Anwender:innen generativer KI am DKFZ.
- Infrastruktur-Architektur & Skalierung: Konzeption, Implementierung und Skalierung der LLM-Infrastruktur (Hardware, Container, Orchestrierung)
- Inferenz-Optimierung: Maximierung der Ressourcenauslastung durch geeignete Techniken wie KV-Caching, Quantisierung und Parallelisierung
- Hardware-Integration : Betrieb und Optimierung von LLMs auf NVIDIA-GPU-Plattformen (CUDA), inklusive hardwarenahen Anpassungen
- API-Integration & Management : Design und Betrieb von RESTful APIs und API Gateways (z. B. Kong, KrakenD) für sichere, skalierbare LLM-Schnittstellen
- LLM-Modellauswahl : Evaluation und selektive Bereitstellung von LLMs nach Anforderungen (z. B. Logik / Sprachverständnis, Code-Generierung)
- RAG-Optimierung : Integration von Embedding- und Reranking-Modellen zur Verbesserung der Suchqualität in RAG-Pipelines
- Anwendungs-Integration : Nahtlose Integration in Frontends (Open WebUI) und Datenpipelines mit KI-Entwicklern
- Automatisierung & Monitoring : Sicherstellung eines stabilen Betriebs durch automatisiertes Konfigurationsmanagement (Ansible) und umfassendes Monitoring (Prometheus / Grafana)
- Kooperation in der Helmholtz-Gemeinschaft Deutscher Forschungszentren : Beitrag zur Standardisierung von LLM-Infrastrukturen im Rahmen der Helmholtz-KI-Initiativ
- Ansprechpartner:in für KI-Demands am DKFZ und Mitarbeit im KI-Kompetenzteam des DKFZ
- Sie arbeiten an spannenden Projekten mit modernen Technologien in einem Umfeld, in dem Ihre Ideen zählen und Sie Verantwortung übernehmen können. Durch Ihren Beitrag unterstützen Sie unsere Mission »Forschen für ein Leben ohne Krebs« und gestalten die Zukunft unserer IT-Landschaft mit!
Berufserfahrung
- Mehrjährige Berufserfahrung