LLM / AI Platform Architect (m/w/d)

Für den Aufbau einer zentralen Plattform zur Nutzung von Large Language Models und weiteren KI-Anwendungen suchen wir einen erfahrenen AI-/LLM-Architekten. Du verantwortest die technische Konzeption der Plattform und begleitest deren Umsetzung bis in den produktiven Betrieb.

Der Fokus liegt auf einer sicheren und skalierbaren On-Premise-Architektur, die sowohl Inference-Anwendungen als auch weitere GPU-basierte Workloads unterstützt. Dabei arbeitest du eng mit Infrastruktur-, Plattform- und Betriebsteams zusammen und sorgst durch gezielten Wissenstransfer dafür, dass die Lösung anschließend eigenständig betrieben und weiterentwickelt werden kann.

• Konzeption einer zentralen Plattform für LLM-Inference und weitere GPU-basierte KI-Workloads
• Entwicklung einer geeigneten Zielarchitektur für den produktiven On-Premise-Betrieb
• Planung und Bewertung von LLM-Serving- und Inference-Komponenten
• Definition von Betriebs-, Governance- und Bereitstellungsmodellen für die KI-Plattform
• Beratung bei der Auswahl geeigneter Open-Weight-Modelle, insbesondere für deutschsprachige Anwendungsfälle
• Bewertung von Anforderungen an GPU-Kapazitäten, deren Aufteilung und Nutzung
• Konzeption geeigneter Verfahren zur GPU-Segmentierung und Ressourcensteuerung
• Berücksichtigung von NVIDIA MIG sowie alternativen GPU-Sharing- und Scheduling-Ansätzen
• Begleitung der Integration der Plattform in bestehende Infrastruktur- und Betriebslandschaften
• Vorbereitung der technischen Anbindung bestehender dokumentenbasierter KI-Anwendungen
• Berücksichtigung von Datenschutz, Informationssicherheit, Datensouveränität und regulatorischen Anforderungen
• Abstimmung mit beteiligten Architektur-, Plattform- und Betriebsteams
• Erstellung technischer Konzepte, Entscheidungsgrundlagen und Betriebsdokumentationen
• Durchführung von Wissenstransfer und Befähigung der internen Teams

• Mehrjährige Erfahrung als Architekt im Umfeld von LLM-, GenAI- oder Model-Inference-Plattformen
• Nachweisbare Erfahrung mit dem produktiven Betrieb von LLM-/KI-Lösungen
• Sehr gute Kenntnisse in der Architektur GPU-basierter KI-Infrastrukturen
• Erfahrung mit On-Premise-Umgebungen und idealerweise Projekten im regulierten bzw. öffentlichen Umfeld
• Fundierte Kenntnisse zu Betriebs- und Governance-Modellen für KI-Plattformen
• Erfahrung bei der Bewertung und Auswahl leistungsfähiger Open-Weight-Modelle
• Erfahrung im Umfeld dokumentenbezogener KI-Verarbeitung
• Praktische Kenntnisse mit Tesseract, trOCR und ABBYY FlexiCapture
• Verständnis für GPU-Ressourcenmanagement, Segmentierung und Scheduling
• Kenntnisse relevanter Container-, Kubernetes- und AI-Plattform-Technologien
• Verständnis für IT-Betriebsprozesse sowie Datenschutz- und Security-Anforderungen
• Sehr gute Kommunikations- und Beratungskompetenz
• Fähigkeit, komplexe technische Sachverhalte verständlich zu vermitteln
• Sicheres Arbeiten in interdisziplinären Teams