Nous recherchons un Data Engineer pour intervenir au sein de l'IT Data Management & BI, dans l'équipe Big Data & API Cette équipe développe et gère un data Lake (Risk Lake), utilisé comme une data plateforme pour les équipes IT et métiers., QUI SOMMES-NOUS ? HighTeam est un groupe de conseil en informatique créé en 2009 à Paris et spécialisé en transformation digitale. Avec un chiffre d'affaires de 50 millions d'euros en 2022, HighTeam renforce sa présence en région en 2023 pour plus de proximité avec ses clients et ses équipes. Aujourd'hui, c'est près de 500 Highteamers qui portent au quotidien nos couleurs et nos valeurs auprès de nos clients grands comptes (CAC40 / SBF120). CE QUE NOUS PROPOSONS A NOS CONSULTANTS : - Un accompagnement personnalisé dans vos projets de carrière - Des missions qui correspondent à vos expertises et vos attentes - Des possibilités d'évolution (développement de compétences, mobilité géographique, responsabilités, etc.) Envie de rejoindre une aventure humaine, participer à des projets d'envergure et relever de beaux défis ? Envoyez-nous votre candidature ! CE QUE NOUS PROPOSONS A NOS CLIENTS : - Un accompagnement dans leurs défis en
mettant à leur service nos expertises, notre réactivité, notre transparence et notre agilité - De la création de valeur en proposant des solutions sur-mesure, innovantes et performantes Nous couvrons l'ensemble du cycle de vie d'un projet IT et les accompagnons dans leur transformation digitale grâce à nos 3 divisions : - SOLUTIONS PROJET+ : Projet, Digital, Transformation - INNOVAPP : Développement, QA, Data, IA, BI - INFRAXPERT : Cloud, Infra, DevOps, Sécurité, Cybersécurité, Production, New! Démarquez-vous en passant des tests de personnalité gamifiés. Lancez-vous dès maintenant, en découvrant les trois tests disponibles gratuitement!
* Gestion de la production et de la dette technique
* Revoir l'architecture actuelle et proposer des évolutions
* Développement des pipelines et traitements liés aux projets
Responsabilités
* Collecter et mettre à disposition les données pour les équipes métiers
* Industrialiser et mettre en production des traitements de données
* Développer des pipelines d'ingestion et de traitement des données (batch et streaming)
* Implémenter et optimiser des jobs Spark pour le prétraitement et la transformation des données
* Développer des API génériques pour l'ingestion et le traitement des données
* Participer à la conception, mise en place et administration de solutions Big Data
* Normaliser et agréger les données pour produire des Business Views et Dashboard
* Mettre en place des services d'extraction de données via Spring Boot et Kafka
Formation : Bac+5 minimum en école d'ingénieur ou en informatique
Expérience : Au moins 7 ans en tant que Data Engineer
Expertise technique en Big Data, Spark, PySpark, Scala et Hadoop
Capacité à travailler en mode Agile et en interaction avec les équipes métiers
Bonne maîtrise des pipelines CI/CD et des environnements DevOps
Force de proposition pour améliorer l'architecture et les performances du data Lake
Environnement de travail
Expertises techniques requises
* Big Data & Traitement des données : Spark, PySpark, Scala, Hadoop (On-Premise)
* Stockage & Requêtage : Hive, SQL/HQL,
* DevOps & CI/CD : Jenkins, XLDeploy/XLRelease, Pipeline CI/CD
* Environnement & Outils : Unix/Bash, Jira