Inserenten

Deine IT-Job-Welt

25 km

Informationen zur Anzeige:

Senior Engineer Data Infrastructure (w/m/d)
Berlin
Aktualität: 08.06.2024

Anzeigeninhalt:

08.06.2024, ING Deutschland
Berlin
Senior Engineer Data Infrastructure (w/m/d)
Als Senior Data Infrastructure Engineer bist Du hands-on und federführend für die Verwaltung, Erstellung, Konzeption und Implementierung von Cloud- und Dateninfrastrukturen verantwortlich. Ganz konkret: Du integrierst neue Datenquellen nahtlos in Snowflake, stellst die Zuverlässigkeit und Effizienz unserer Datenimporte sicher, verwaltest und optimierst unsere bestehenden Datenquellen. Du sorgst dabei für eine effiziente Datenverarbeitung und bringst Dein Fachwissen in die Wartung und Optimierung des Kubernetes-Clusters ein. Kafka, Airflow, Terraform und Helm gehören hier zu Deinem Tech-Stack. Deine Expertise in Python kommt zum Einsatz, wenn Du in Airflow DAGs (Directed Acyclic Graphs) erstellst und aktualisierst. Außerdem kümmerst Du Dich um die Aktualisierung der Verarbeitungslogik, insbesondere für das Streaming von Change Data Capture, und sorgst so dafür, dass unsere Datenverarbeitung jederzeit up to date ist. Zu Deinen operativen Aufgaben gehört auch die Verwaltung des Kafka-Clusters für die Verarbeitung von Streaming-Daten und Du stellst sicher, dass es zuverlässig läuft, skalierbar und performant ist. Wir planen ein Infrastruktur-Migrationsprojekt (Cloud-zu-Cloud), das auch Änderungen am Technologie-Stack beinhaltet - auch hier stehst Du uns mit Rat und Tat zur Seite, sodass wir währenddessen unsere Team-Service-Level-Agreements geschmeidig erfüllen. Nicht zuletzt überwachst und optimierst Du unsere CI/CD-Pipelines in Azure DevOps und spielst dabei eine entscheidende Rolle in der kontinuierlichen Verbesserung und effizienten Bereitstellung unserer Dateninfrastruktur.
Mehrjährige Erfahrung im Aufbau, in der Pflege und der Überwachung von Datenpipelines Hochschulabschluss in Informatik, Ingenieurwesen oder einem verwandten Bereich ist ein Plus Gute Kenntnisse in mindestens einer Programmiersprache, z. B. Python und SQL Sehr gutes Verständnis von Kubernetes und der zugehörigen Cloud-Infrastruktur Proaktives und optimierungsorientiertes Vorgehen bezüglich der verwalteten Dienste / Codes und der Teamprozesse Erfahrung in der Planung und Durchführung von Cloud-Migrationen von Vorteil, inkl. Definition von Anforderungen, Abstimmung mit Stakeholdern, Gestaltung eines optimalen Setups, das die Bedürfnisse der Stakeholder erfüllt Vertraut mit Themen der Data Governance und hoher Qualitätsanspruch hinsichtlich der Sicherheit der Infrastruktur Idealerweise Erfahrung mit verteilten Systemen wie Kafka, Infrastructure as Code (IaC) und CI/CD-Pipelines sowie mit Airflow und Snowflake Neugierig und lernwillig Deutsch- und Englischkenntnisse in Wort und Schrift

Berufsfeld

Bundesland

Standorte