Dans le cadre d?un programme de replatforming B2C, une organisation internationale construit une Data Platform centralisée à l?échelle mondiale, aujourd?hui fragmentée. L?objectif est de mettre en place une plateforme cloud-native, data-centric et scalable, au service des équipes data de plusieurs géographies, notamment la France, la Belgique et l?Australie. Le Core Model du programme repose sur un modèle de données unifié couvrant notamment les données clients, contrats et facturation. Le Lead Data Engineer intervient comme référent technique de la data platform, avec une responsabilité complète sur l?architecture, le delivery et la qualité des données. Stack technique ? Data Platform : Databricks (lakehouse), Amazon S3, Amazon Managed Apache Flink, ? Expertise avancée Databricks, incluant Delta Lake, Unity Catalogue, Spark et workflows
Contexte dynamique dans le secteur des données. En tant que Lead Data Engineer, vous définirez l'architecture d'une plateforme data greenfield. Vous utiliserez des outils tels qu'AWS et Databricks pour optimiser la gestion des données, tout en intégrant les spécificités locales. Votre expertise est essentielle pour établir une gouvernance efficace et répondre aux besoins analytiques via un catalogue as a service.
- Définir l’architecture de la data platform (lakehouse, zones bronze/silver/gold).
- Co-construire le Core Data Model commun pour plusieurs géographies.
- Mettre en place la gouvernance des données et garantir leur qualité.
- Être le référent technique du programme et structurer une feature team de 5 à 6 personnes.
- Assurer la responsabilité end-to-end des pipelines, de l'ingestion à la restitution.
- Intégrer GitHub Copilot pour améliorer les processus de développement.
- Solide expérience AWS (S3, Glue, Kinesis ou Flink) avec compétences en sécurité cloud.
- Maîtrise experte de Python, notamment PySpark et pandas.
- Expérience dans la conception d’une data platform from scratch.
- Culture DataOps : tests automatisés, CI/CD data, observabilité des pipelines.
- Leadership avec capacité à structurer une équipe data performante.
- Connaissance de Confluent Kafka et du streaming ainsi qu'expérience Unity Catalogue pour la gouvernance des données.
Opportunité unique d'évoluer au sein d'un projet innovant sur une architecture moderne. Accès à des formations continue sur les technologies émergentes comme l'IA/ML. Flexibilité dans les horaires de travail avec un environnement propice au télétravail.
Partager cette mission via
Explore ces missions en lien avec tes compétences et ton expérience.
