Une grande organisation internationale recherche un Senior Data Engineer pour rejoindre son équipe en charge des outils managés au sein d'une Data Factory. Cette équipe, organisée autour des sujets de compute, d'orchestration et d'exposition, est responsable de la mise à disposition et de la robustesse de la stack data à l'échelle du groupe. La squad Compute a pour enjeu d'accompagner les utilisateurs aux bonnes pratiques sur une modern data stack et son orchestration, afin de soutenir le développement des cas d'usage métiers sur la plateforme.
Garantir la robustesse de la plateforme : * Monitorer et assurer un management proactif de la plateforme de compute et d'orchestration * Accompagner la migration d'AWS Glue Catalog vers Unity (Databricks) * Accompagner la migration des utilisateurs de MWAA vers Astronomer * Assurer le support et l'accompagnement des équipes sur Spark, Databricks et EMR * Travailler sur les optimisations des traitements PySpark Accompagner et former : * Définir et promouvoir les bonnes pratiques de data engineering sur les technologies proposées Développer le futur : * Travailler sur les concepts d'accessibilité et de gouvernance de la donnée * Tester et évaluer de nouveaux outils et fonctionnalités à intégrer dans la stack Outils & Environnement
* EMR : Confirmé * CI/CD : Avancé * PySpark : Avancé * Databricks : Confirmé * Terraform : Avancé, * PySpark : Avancé * Databricks : Confirmé * Terraform : Avancé * Une expérience avancée sur une stack incluant Databricks est requise * Anglais : Courant
Partager cette mission via
Explore ces missions en lien avec tes compétences et ton expérience.
