Le Data Engineer est un développeur au sein de l?équipe Data Delivery de la Data Factory, qui regroupe l?ensemble des expertises technologiques liées à l?ingénierie de la donnée.
Cette Factory est dédiée au service du clientet de ses équipes (Data and AI office, Tribus, Business, Transformation Office etc.), afin de fournir, les plateformes Data et les données nécessaires aux équipes chargées de délivrer les cas d?usages, puis les déployer et les maintenir en conditions opérationnelles.
Vous serez directement rattaché(e) au Responsable de l?équipe Data Delivery au sein du Data and AI Office
Vous allez contribuer directement aux projets des directions métier (ex : Fraude santé, Pricing IARD, Optimisation du lead management, Fragilité Auto, ?)
La Direction Transformation Digital Tech :
* Une organisation agile en feature teams : tribus, guildes, squads
* Des projets sur des applications innovantes à fort trafic (web, mobile?)
* Des méthodologies craft (TDD, BDD, clean code, code review?) et DevOps
* Une communauté de partage de bonnes pratiques (BBL, dojo, meetup, conf?)
Votre rôle et vos missions :
Initiation au développement de projets Big Data demandés par le métier en mode Agile, et notamment :
? Passer de la donnée brute à de la donnée exploitable, exposée sous forme de tables requêtables dans le Datalake
? Consolider ces données au fur et à mesure de leur alimentation récurrente dans le Datalake
? Les exploiter pour atteindre la finalité business (exposition de Business View, réintégration des résultats dans le SI, service de scoring, ?)
? De mettre en place et de garantir le respect dans la durée d'un processus qualité sur l'ensemble du cycle de DEV (documents, tests unitaires / intégration / fonctionnels, commentaires, versionning, etc.)
D'une formation supérieure en informatique ou scientifique (Master ou Diplôme d'ingénieur), vous justifiez de plusieurs expériences significatives en tant que Data Engineer
Compétences techniques :
? Connaissances avancées en développement en SPARK et idéalement PySpark (Spark en Python)
? Une expérience sur un cloud provider public comme Azure (idéalement), AWS, ou GCP
? Connaissances avancées d'outils de BI comme PowerBI (idéalement) ou Spotfire
Compétences transverses :
? Capacité à interagir avec des parties prenantes diverses : Business analyst, Architectes, Métier
? Expérience en mode de Delivery Agile (Scrum, Kanban, etc.?)
Et Idéalement :
? Des Connaissances sur Azure DevOps, Azure Pipeline, GIT, JIRA
? Maitrise des Traitements Big Data en mode Streaming
? Maitrise des Bases de données relationnelles et NoSQL
? Une expérience professionnelle avec des outils comme Azure Databricks, Azure Data Lake Storage ou encore Azure Data Factory