Wir, die Business Unit TSO der emagine GmbH, suchen ab sofort Projektunterstützung durch einen erfahrenen Data Engineer, in Berlin (m/w/d)
Das Projekt:
Das Hauptziel der Rolle des Data Engineers ist die Entwicklung eines neuen Netzsteuerungssystems. Diese Rolle ist entscheidend für die Integration und Pflege von Stammdaten für die Netzüberwachung und -steuerung, die für die Betriebseffizienz des neuen Systems unerlässlich sind.
Aufgaben:
Entwerfen und implementieren Sie skalierbare Datenpipelines für die Aufnahme, Versionierung, Validierung und Weitergabe von Stammdaten.
Entwickeln Sie REST-basierte und Kafka-basierte APIs für den Stammdatenzugriff und die Integration mit anderen Systemen.
Pflegen und entwickeln Sie ETL-Prozesse (Extract, Transform, Load) für die Datenintegration aus verschiedenen Quellen.
Optimieren Sie Datenspeicher- und -abrufsysteme im Hinblick auf Leistung und Effizienz.
Implementieren Sie Datenqualitätsprüfungen und Überwachungssysteme, um die Datenintegrität zu gewährleisten.
Kenntnisse:
Nachgewiesene Erfahrung in der Gestaltung und Implementierung von Datenpipelines.
Ausgeprägte Kenntnisse in ETL-Prozessen und -Tools.
Erfahrung mit RESTful und Kafka-basierter API-Entwicklung.
Kenntnisse in Optimierungsstrategien für die Datenspeicherung und -abfrage.
Verständnis von Maßnahmen zur Qualitätssicherung von Daten und Überwachungssystemen.
Vertrautheit mit den Datenschutzbestimmungen und der Implementierung von Sicherheitsmaßnahmen.
Erfahrung in der Arbeit in einer Scrum-Umgebung.
Wünschenswert:
Erfahrung mit Cloud-Technologien (AWS, Azure oder GCP).
Vertrautheit mit Datenvisualisierungstools.
Vorherige Erfahrung im Energiesektor oder ähnlichen Branchen.
Kenntnisse in weiteren Programmiersprachen (z.B. Python, Java).
Deutsch mind. C1
Englisch mind. B2
