Data Engineer Spark Big Data - Banque

Dans une DSI en pleine structuration BI, l'équipe souhaite industrialiser la génération de rapports Power BI, tout en optimisant l'usage des sources SQL internes. Objectif : faire monter en maturité la fonction Data/Reporting et optimiser les flux de données décisionnels. Dans une DSI en pleine structuration BI, l'équipe souhaite industrialiser la génération de rapports Power BI, tout en optimisant l'usage des sources SQL internes. Objectif : faire monter en maturité la fonction Data/Reporting et optimiser les flux de données décisionnels., * Conception et maintenance de rapports Power BI à destination des métiers * Industrialisation des jeux de données (datasets, vues SQL, performance) * Mise en place de bonnes pratiques : nomenclature, versionning, documentation * Accompagnement des utilisateurs dans la compréhension des indicateurs * Participation à la gouvernance BI et à la structuration de la brique décisionnelle

En tant que Tech Lead, ta mission principale est de : * Manager fonctionnellement les développeurs (Software Engineers, Data Engineers…) d'une ou plusieurs squads. * Assurer les choix techniques en collaboration avec la squad, dans le respect des standards. * Faire comprendre les choix techniques et obtenir l'adhésion des parties prenantes. * Interagir au quotidien avec les parties prenantes (métier, tech authority…). * Garantir la qualité logicielle de la prestation de l'équipe. * Veiller à la bonne mise en œuvre du plan de développement produit. Objectifs & Livrables * Assurer l'excellence technique : garantir les plus hauts standards de développement (qualité de code, tests, documentation). * Encadrer et guider : accompagner, soutenir et faire monter en compétences les membres de l'équipe. * Concevoir et architecturer : diriger l'architecture de systèmes complexes, performants et maintenables. * Faciliter la communication : assurer le lien entre dev, produit, QA, opérations. * Livraison dans les délais : supervision des plannings et respect des jalons projet., * Valider les architectures / modifs de code. * Piloter les discussions et arbitrages techniques. Gestion d'équipe * Encadrement des développeurs (notamment juniors). * Entretiens réguliers, évaluations, mentorat. * Culture d'amélioration continue. Supervision projet * Relation étroite avec les chefs de produit. * Maintien des plannings, suivi des tâches. * Maîtrise des risques techniques : dette, perf, scalabilité. Communication parties prenantes * Vulgarisation des sujets techniques. * Coordination transverse. * Représentation de l'équipe dev. Assurance qualité * Pratiques de tests robustes : unitaires, intégration, E2E. * Revue de code régulières. * Supervision CI/CD, pipelines automatisés. Interactions avec l'équipe * Daily stand-ups : suivi quotidien * Code reviews : feedback constructif * Sessions techniques : partages, brainstorming * Mentorat : accompagnement individuel ou collectif * Rétrospectives : amélioration continue

En tant que Data Engineer, vous aurez un rôle clé dans la mise en place et l'optimisation des pipelines de données. Vous serez en interaction avec des équipes pluridisciplinaires (développeurs, data scientists, métiers) pour construire des solutions performantes et scalables. Vos missions au quotidien * Développer et optimiser des pipelines de données massifs avec Spark et Scala. * Assurer l'ingestion, le nettoyage et l'enrichissement des données en vue de leur exploitation. * Exposer les données via des API et Web Services pour les rendre accessibles aux applications et modèles ML. * Contribuer à l'industrialisation et à la mise en production des traitements Big Data. * Collaborer avec les data scientists pour améliorer la maturité industrielle des modèles de machine learning. * Maintenir et optimiser les solutions en production pour garantir leur performance et leur robustesse. Votre environnement technique * Langages : Java (J2EE / JDK 17), Scala * Big Data : Spark (SQL/DataFrame), Impala, Kudu, Hive, SQL, Parquet * Infrastructure & DevOps : Docker, Kubernetes, Helm, Git, Maven * Messaging & Streaming : Kafka, Redis * Tests & Qualité : JUnit, Mockito, PowerMock, ScalaMock * API : Web Services Rest

* Conception d'outils Big Data : Contribution active à la conception, au développement et à l'amélioration d'outils de traitement de données massives, couvrant l'ensemble du cycle de vie des données : ingestion, traitement, analyse et restitution. * Définition des besoins techniques : Collaboration étroite avec les utilisateurs de la plateforme Data pour comprendre les besoins métier et garantir un alignement optimal entre les solutions développées et les attentes fonctionnelles. * Développement sur Databricks et AWS : Réalisation de développements avancés sur les plateformes Databricks et AWS, en utilisant notamment les technologies suivantes : Python, SQL, Spark et Airflow. * Intégration des pratiques FinOps : Mise en œuvre de bonnes pratiques FinOps dans le développement afin d'optimiser les coûts, les performances et l'utilisation des ressources sur AWS. Utilisation d'outils tels que dbt, GitLab CI/CD, et autres solutions DevOps. * Audit et accompagnement transverse : Réalisation d'audits techniques et de revues de code au sein des équipes, avec pour objectif de renforcer la maîtrise des enjeux techniques et de favoriser l'adoption de stratégies FinOps efficaces.