HIGHTEAM
Nous recherchons un(e) Software Data Engineer pour l'un de nos clients grand compte., QUI SOMMES-NOUS ? HighTeam est un groupe de conseil en informatique créé en 2009 à Paris et spécialisé en transformation digitale. Avec un chiffre d'affaires de 50 millions d'euros en 2022, HighTeam renforce sa présence en région en 2023 pour plus de proximité avec ses clients et ses équipes. Aujourd'hui, c'est près de 500 Highteamers qui portent au quotidien nos couleurs et nos valeurs auprès de nos clients grands comptes (CAC40 / SBF120). CE QUE NOUS PROPOSONS A NOS CONSULTANTS : - Un accompagnement personnalisé dans vos projets de carrière - Des missions qui correspondent à vos expertises et vos attentes - Des possibilités d'évolution (développement de compétences, mobilité géographique, responsabilités, etc.) Envie de rejoindre une aventure humaine, participer à des projets d'envergure et relever de beaux défis ? Envoyez-nous votre candidature ! CE QUE NOUS PROPOSONS A NOS CLIENTS : - Un accompagnement dans leurs défis en
mettant à leur service nos expertises, notre réactivité, notre transparence et notre agilité - De la création de valeur en proposant des solutions sur-mesure, innovantes et performantes Nous couvrons l'ensemble du cycle de vie d'un projet IT et les accompagnons dans leur transformation digitale grâce à nos 3 divisions : - SOLUTIONS PROJET+ : Projet, Digital, Transformation - INNOVAPP : Développement, QA, Data, IA, BI - INFRAXPERT : Cloud, Infra, DevOps, Sécurité, Cybersécurité, Production, New! Démarquez-vous en passant des tests de personnalité gamifiés. Lancez-vous dès maintenant, en découvrant les trois tests disponibles gratuitement!
MISSION
* Concevoir et implémenter les composants/pipelines d'ingestion de données en scala spark
* Traiter et normaliser les données
* Refactoriser des imports existants pour être compliant avec l'architecture médaillon (silver + gold layers)
* Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud
* Distribuer les données aux différents consommateurs/Métiers
* Implémenter les règles de Data Quality (DataQuality framework) et gérer le data calatog
* Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code)
* Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, …
* Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données
* Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif :
- d'optimiser le temps de calculs,
- d'optimiser les performances,
- de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations,
- de maîtriser et d'optimiser les coûts cloud.
* Être force de proposition pour améliorer les processus et les performances des systèmes.
PROFIL RECHERCHÉ
* Expertise en Scala et Spark.
* Expérience significative dans le développement d'ETL en contexte Big Data.
* Expérience AWS (Glue, Lambda, Step Function, S3, etc.) : niveau intermédiaire avec expérience pratique
* Compétences Dev/Ops
* Capacité à travailler en équipe et à communiquer efficacement avec les parties prenantes.
* Organisation, orientation résultats et intérêt marqué pour le fonctionnel.
* Des compétences en Python et REACT seraient un plus pour le candidat, Enfin, il est attendu du candidat :
- une expertise technique: Scala, Spark (batch), Python serait un plus
- une expertise sur le Cloud computing AWS et les services Glue, S3, Athena, Lambda mais pas très utilisé
- une expérience sur des process ETL sur une forte volumétrie et des process de calculs
- une fibre architecturale : capacité à designer et proposer des architectures simples et pérennes dans le temps dans des environnements multiples et complexes
- une appétence aux sujets data, Machine Learning
- des compétences devops
- Etre force de proposition et de critique
- un mindset agile, avenant, proactif et customer oriented, * Minimum 5 ans d'expérience en développement Scala Spark.
* Expérience avérée dans des projets Big Data et ETL.
* Capacité à être force de proposition et à travailler de manière autonome.
* Intérêt pour le secteur de l'énergie, du trading et de la détection d'abus de marché.
Scripting Python / junior
AWS - Glue, Athena, S3 / confirmé
Big Data Architecture & Technologies / Avancé
DevOps (Git, Azure Devops, …) / Confirmé
Scala / avancé
Spark / avancé
SQL / confirmé
Environnement de travail, * Minimum 5 ans d'expérience en développement Scala Spark.
* Expérience avérée dans des projets Big Data et ETL.
* Capacité à être force de proposition et à travailler de manière autonome.
* Intérêt pour le secteur de l'énergie, du trading et de la détection d'abus de marché.
Scripting Python / junior
HIGHTEAM
Technologies de l'Information et de la Communication
Temps partiel (≤ 32 heures)
Non renseigné
09/09/2025
Freelance