Non renseigné
Dans le cadre d'un programme Data à forte volumétrie, nous recherchons un Senior Data Engineer afin d'intervenir sur des environnements GCP et Cloudera on-premise. La mission consiste à développer des pipelines ETL / ELT, maintenir un socle Spark Hadoop existant développé en Java, tout en participant à un chantier stratégique de réécriture vers Scala ou PySpark. * Missions principales * Concevoir, développer et mettre en œuvre des pipelines ETL / ELT robustes et performants * Développer des traitements de données à grande échelle en Scala et/ou PySpark * Intervenir sur les environnements GCP et Cloudera * Participer à la conception et à l'évolution de l'architecture Data * Optimiser les requêtes et les performances des traitements * Mettre en place les processus de qualité de données et de monitoring * Collaborer avec les architectes, Tech Leads et analystes Data * Produire un code propre, maintenable et documenté * Participer aux revues de code et à l'amélioration des bonnes pratiques * Assurer le déploiement et la maintenance des plateformes et outils Data * Résoudre les problématiques techniques liées aux flux et plateformes de données * Environnement technique * GCP : Cloud Functions, Cloud Run, Dataproc, BigQuery, Cloud Storage * Cloudera / Hadoop : HDFS, Spark, Hive, Ranger, Kerberos * Big Data : Spark, Scala, PySpark, Java, SQL * Data Engineering : ETL / ELT, optimisation de traitements, monitoring * Orchestration : Composer, Airflow, Control-M
* Expérience significative en Big Data / Data Engineering * Expertise sur GCP, Hadoop / Cloudera, Spark, Scala et/ou PySpark * Très bonne maîtrise de Java * Expérience de réécriture de composants Java vers Scala ou PySpark * Solides connaissances en architectures Big Data et ingénierie des données * Bonne compréhension des problématiques de performance, sécurité et scalabilité * Capacité à travailler en autonomie et en équipe * Bonnes capacités de communication et de résolution de problèmes * Une connaissance d'autres environnements cloud (Azure, AWS) est un plus. * Langues * Français courant
Partager cette mission via
Explore ces missions en lien avec tes compétences et ton expérience.
