Senior Data Engineer– Snowflake & Iceberg

................

Für unseren Kunden in Bern, suchen wir eine:n motivierte:n und aufgeschlossene:n Senior Data Engineer– Snowflake & Iceberg.

Ziel des Projekts ist der Aufbau einer vollständigen, zuverlässigen und produktionsfähigen CDC-Lösung zur Synchronisation von TigerData nach Snowflake auf Basis von Apache Iceberg.

Die Lösung soll hinsichtlich Zuverlässigkeit, Transparenz und Betriebsfähigkeit einen vergleichbaren Standard wie die bestehenden CDC-Prozesse mit Fivetran HVR erreichen,

Deine Aufgaben:

Analyse und Bewertung des von TigerData bereitgestellten CDC-Ansatzes auf Basis von Apache Iceberg

Definition und Konzeption einer geeigneten Zielarchitektur für die kontinuierliche Synchronisation von TigerData nach Snowflake

Konfiguration und Optimierung von Snowflake für die Verarbeitung der über Apache Iceberg bereitgestellten Daten

Konzeption und Implementierung der erforderlichen Iceberg-Komponenten und Datenstrukturen

Sicherstellung einer zuverlässigen Verarbeitung von Inserts, Updates und Deletes

Berücksichtigung von Schema Evolution, Datenkonsistenz, Datenlatenz, Recovery und Reconciliation

Aufbau von Monitoring-, Logging- und Fehlerbehandlungsmechanismen für einen stabilen Produktionsbetrieb

Technische Abstimmung mit TigerData und bei Bedarf direkt mit Snowflake

Unterstützung bei der Implementierung, Validierung und Produktivsetzung der End-to-End-Lösung

Dokumentation der technischen Architektur sowie Wissenstransfer an das interne Team

Dein Profil:

Mehrjährige praktische Erfahrung in der Konzeption und Umsetzung von Datenintegrations- und Replikationslösungen

Sehr gute Kenntnisse und praktische Projekterfahrung mit Snowflake

Nachweisbare Projekterfahrung mit Apache Iceberg

Fundiertes Verständnis von Change Data Capture (CDC), Datenreplikation und Streaming- bzw. Synchronisationsverfahren

Erfahrung im Aufbau und Betrieb produktionsfähiger CDC- und Datenintegrationsplattformen

Kenntnisse in den Bereichen Schema Evolution, Datenkonsistenz, Recovery, Reconciliation, Monitoring und Fehlerbehandlung

Erfahrung mit der Integration unterschiedlicher Datenplattformen und dem Aufbau robuster End-to-End-Datenflüsse

Fähigkeit, technische Lösungsansätze gemeinsam mit Softwareherstellern und internen Stakeholdern zu analysieren und voranzutreiben

Selbstständige, strukturierte und lösungsorientierte Arbeitsweise

Erfahrung mit Fivetran HVR oder vergleichbaren CDC- und Datenreplikationslösungen von Vorteil

Erfahrung mit der Anbindung von Time-Series-Datenbanken oder entsprechenden Datenplattformen von Vorteil

Fliessend in Deutsch und Englisch