Nous recherchons un(e) Data Engineer spécialisé(e) en Spark et Scala pour rejoindre notre équipe Data. Vous contribuerez à la conception, au développement, et à l'optimisation des pipelines de données à grande échelle, ainsi qu'à l'implémentation des meilleures pratiques de gestion et de traitement des données., Smartpoint est une société de conseil et de services numériques, pure player Data depuis 2006. Nos compétences reconnues dans ce domaine nous permettent d'être « Preferred Vendor » auprès d'entreprises prestigieuses. Nous sommes en effet référencés parmi les plus grands comptes français dans les domaines de la banque, de l'énergie, des médias, des télécoms ou encore de la grande distribution. Nous rejoindre c'est intégrer une équipe de plus de 300 consultants et experts animée par une vision commune : Une utilisation éthique des données, moins énergivore et conforme dès la conception (RGPD) ; Une approche Smart Data pour lutter contre le Data Swamp, (ces entrepôts de données qui stockent des données inutiles) et permettre une exploitation des données plus durable ; Une méthode de développement agile et des pratiques XOps (DataOps, MLOps, PlatformOps) pour une stack technologique automatisée, qui réduit les process et les technologies utilisées et accélère
le time-to-market.
* Concevoir, développer et maintenir des pipelines de données scalables et robustes en utilisant Spark et Scala.
* Intégrer et transformer des données provenant de différentes sources (bases de données, fichiers, APIs, etc.).
* Assurer la qualité, la performance et la sécurité des flux de données.
* Participer à l'optimisation des performances des traitements Big Data.
* Collaborer avec les équipes Data Science, BI et Développement pour répondre aux besoins des projets.
* Implémenter les meilleures pratiques en matière de gestion des données et d'architecture.
* Surveiller et résoudre les incidents liés aux flux de données en production., Nouveauté ! Avec Free-Work MyBusiness, vous pouvez désormais gérer votre facturation, vos clients et votre activité facilement. C'est gratuit et sans engagement !
* Excellente maîtrise de Spark et Scala (5+ ans d'expérience souhaitée).
* Solides compétences en conception et optimisation de flux ETL.
* Bonne connaissance des bases de données relationnelles (SQL) et des bases NoSQL.
* Expérience avec des outils de gestion des données (Airflow, Kafka, etc.) et des environnements Cloud (AWS, Azure, GCP).
* Connaissance des écosystèmes Hadoop et des frameworks Big Data., * Capacité à travailler dans un environnement agile et collaboratif.
* Esprit analytique, rigueur et autonomie.
* Bonnes capacités de communication en français et/ou en anglais.
* Bac+5 en Informatique, Data Science, ou équivalent.
* Minimum 5 ans d'expérience en tant que Data Engineer dans un environnement Big Data.
Environnement de travail
* Excellente maîtrise de Spark et Scala (5+ ans d'expérience souhaitée).
* Solides compétences en conception et optimisation de flux ETL.
* Bonne connaissance des bases de données relationnelles (SQL) et des bases NoSQL.
* Expérience avec des outils de gestion des données (Airflow, Kafka, etc.) et des environnements Cloud (AWS, Azure, GCP).
* Connaissance des écosystèmes Hadoop et des frameworks Big Data.