Senior Data Engineer Lakehouse, Databricks (m/w/d)

Deine Chance im Herzen von Köln

Für unseren Kunden aus dem Versicherungsumfeld suchen wir einen Senior Data Engineer (m/w/d) am Standort Köln. Nach der Einarbeitungsphase wird eine Vor-Ort-Anwesenheit von 2 aufeinanderfolgenden Tagen aller 2 Wochen gewünscht.
Die Versicherung betreibt mit einer Analytics Plattform eine moderne Data-&-AI-Plattform in der Azure Cloud. Diese wird aktuell für folgende Zwecke genutzt: Entwicklung und Betrieb von KI-Systemen (z. B. RAG-Applikationen), Hosting selbst trainierter KI-Modelle, Durchführung von Ad-hoc-Analysen auf strukturierten und unstrukturierten Daten, Entwicklung von Datenprodukten, Datenintegration und -transformation für ein separates Data Warehouse.
Im Rahmen der IT-Transformations-Roadmap wird Unterstützung für die Weiterentwicklung sowie die spätere Migration der Plattform benötigt.
expertplace professionals bringt seit 2014 Experten und Talente zusammen und begleitet Unternehmen sowie Fachkräfte deutschlandweit in den Bereichen IT, Engineering und kaufmännischen Funktionen. Wir stehen für geprüfte Qualität, individuelle Beratung und flexible Lösungen, die zu den Zielen aller Beteiligten passen.

Deine Benefits:

• Attraktive Vergütung
• Modernes, technisches Umfeld mit Fokus auf Innovation
• Flexible Homeoffice-Regelung für deine Work-Life-Balance
• Respektvolle und offene Arbeitskultur
• Weihnachts- und Urlaubsgeld on top

Deine Aufgaben als Senior Data Engineer:

• Weiterentwicklung der bestehenden Plattform zu einem Lakehouse
• Unterstützung bei der technischen Anbindung weiterer IT-Systeme
• Implementierung von Entwicklungsprozessen für Lakehouse-Entwickler unter Beachtung von DABs und Data Contracts
• Mitarbeit an der Migration von GitLab CI/CD zu GitHub Actions
• Wiederherstellung und Bewertung vorhandener Assets, Daten und Daten-Pipelines im neuen Azure Tenant
• Unterstützung bei der automatischen Bereitstellung von Berechtigungsgruppen, Monitoring-Dashboards und Incident-Routing-Mechanismen
• Vorbereitung der vorhandenen Infrastructure-as-Code-Repositories sowie Bewertung der vorhandenen Assets
• Wiederherstellen vorhandener Assets, Daten und Daten-Pipelines im neuen Tenant
• Anbindung an Umsysteme, SIEM und IAM
• Migration von GitLab CI/CD zu GitHub Actions
• Abbau der Cloud-Ressourcen, Prozesse und Assets im alten Azure-Tenant

Dein Profil:

• Tiefes Verständnis von Berechtigungsstrukturen in Databricks mit Unity Catalog
• Erfahrung im Design und der Administration von Databricks Workspaces
• Entwicklung von resilienten Data-Pipelines mit PySpark inkl. Testautomatisierung, Packaging und Deployment mit Declarative Automation Bundles (DAB),
• Kenntnisse von Data Contracts
• Partitionierung von Daten in Delta Lake
• Erfahrung mit GitLab CI/CD und/oder GitHub Actions
• Sehr gute Deutschkenntnisse in Wort und Schrift

Werde Teil von expertplace professionals.

Du willst als Senior Data Engineer am Standort Köln den nächsten Schritt machen und Innovationen aktiv gestalten? Dann bewirb dich jetzt und gestalte mit uns die Zukunft der Datenwelt!