TROUVE TES PROCHAINES MISSIONS FREELANCE ET PROPULSE TA CARRIÈRE !

Nous constituons un vivier de freelances spécialisés en data engineering pour anticiper les besoins de nos clients sur des projets Big Data et Cloud. Nous recherchons des Data Engineers expérimentés sur Spark et Scala, capables d'intervenir rapidement sur des missions à Nantes et Rennes, dans des contextes variés (banque/assurance, industrie, retail, services). En tant que Data Engineer Spark / Scala, vos missions pourront inclure : - Conception et développement de pipelines de données : ingestion, transformation, nettoyage et enrichissement de données massives. - Développement d'applications distribuées avec Apache Spark (Batch et Streaming) en Scala. - Industrialisation des traitements Big Data : optimisation des performances, gestion des volumes importants, parallélisation. - Mise en place d'architectures data : Data Lake, Data Warehouse, solutions temps réel. - Intégration Cloud : déploiement et utilisation des services Big Data sur AWS, Azure ou GCP (EMR, Databricks, Synapse, BigQuery, etc.). - Tests, qualité et fiabilité : mise en place de bonnes pratiques de développement (CI/CD, tests unitaires et fonctionnels). - Sécurité et conformité : respect des normes RGPD et bonnes pratiques de gouvernance des données. - Documentation et partage : rédaction des spécifications techniques, bonnes pratiques et transmission de compétences aux équipes internes. - Collaboration transverse : travail étroit avec les Data Scientists, Data Analysts, Product Owners et Architectes pour répondre aux besoins métiers.

Concevoir et optimiser des pipelines de données robustes, évolutifs et sécurisés Développer des requêtes BigQuery complexes et assurer l?optimisation coûts/performance Construire des modèles de données fiables (schéma en étoile, flocon de neige) pour la BI (PowerBI, Looker) Intégrer des données provenant de sources variées (API, bases, cloud-to-cloud, fichiers) Mettre en ?uvre les bonnes pratiques CI/CD et Infrastructure as Code (Terraform, GitHub) Contribuer à l?industrialisation et la gouvernance de la plateforme Data

Nous recherchons un Data Engineer confirmé pour accompagner les produits data de notre périmètre Connaissance Client et Commerce Animation Performance. ? Objectif de la missionMettre en place une cartographie des données. Concevoir un Datamesh adapté et partagé, incluant son dimensionnement. Déployer un Datamesh avec sondes de contrôle qualité garantissant la fiabilité des données. ? ResponsabilitésCréer des pipelines robustes et optimisés afin de mettre à disposition les données de manière efficace et avec un coût FinOps maîtrisé. Maintenir et faire évoluer les produits data existants. Collaborer avec les équipes métier dans un environnement Agile (Scrum/Kanban).

Définir l'architecture technique, la documenter et mettre en œuvre les composants nécessaires à la construction et l'évolution des produits - En s'appuyant sur le catalogue des patterns d'entreprise, s'assurer que les architectures proposées répondent aux exigences suivantes : - Conformité avec les guidelines et directives d'architecture de l'entreprise - Standardisation et respect de la stack technologique - Sécurité (selon les préconisations DIRS) - Scalabilité et robustesse (à leur juste niveau) - Coût et d'optimisation de coût Durant les phases de développement MVP et releases, vous serez en support aux projets sur la conception et la résolution des problèmes techniques. Environnement technique : * OnPremise et Cloud GCP * Solutions de stockage de données (SGBD, NoSQL, fichiers, Big data) * Calcul (VM, containers, orchestration, serverless) * Interfaçages (API, events, streaming) * Authentification (OIDC/OAuth) * CI/CD * Intégration de progiciels * Connaissance d'un language de développement * Maitrise de la méthodologie Agile et SAFe * Maitrise de l'anglais

En tant que Lead Data Engineer, vous travaillerez au sein de l'équipe digitale « data et performance », en charge principalement de l'infrastructure data, et du traitement, de l'intégration et de la transformation de la donnée digitale d'Hermès (hermes.com). Vous serez aussi garant·e de sa qualité et sa sécurité et le respect de la vie privée liée à cette donnée. Vous serez rattaché·e au Data Manager et vous animez et pilotez une équipe de 2 Data Engineer au quotidien. Vous travaillerez principalement sur le Cloud de Google (GCP), mais aussi en partie sur le Cloud Amazon (AWS). Le respect de la vie privée étant au coeur de de votre travail, vous devrez être conscient des problématiques liées à la GDPR. Des connaissances sur les problématiques liées à l'e-Commerce sont un plus. Principales Activités : Industrialisation de l'infrastructure de la Data Platform sous GCP - Vous avez pour principale mission d'accompagner l'équipe Data et Performance dans l'industrialisation de sa plateforme data via : - Mise en place d'environnements dédiés et cloisonnés (Dev / Preprod / Production) - L'automatisation du déploiement et la maintenance des environnements via des outils d'infrastructure as code (Terraform) sous GCP - Mise en place de solutions d'observabilités (monitoring, alerting) au sein de GCP Manipulation/Transformation de données (en batch et stream) - Vous accompagnerez aussi l'équipe Data dans ses activités de transformation de données via : - Maintenance pipelines de données en python (batch et stream) - Des pipelines de transformation en SQL/SQLX dans l'outil DataForm (similaire à DBT) - Mise en place et maintenance d'un outil de data quality (ex : great expectations en python) - Aider au développement des workers dans les Cloud AWS pour récupérer la donnée depuis Kafka et l'envoyer vers PubSub dans GCP. - La connaissance de l'outil DataFlow (Apache Beam) est un plus. Collaboration avec les équipes du pole, centrée sur la donnée de qualité - Standardisation de la base de code de l'équipe (linting, CI/CD, divers tests - Maintien et réalisation de schémas d'architectures et documentation des processus internes - Collaboration avec les autres équipes du pôle Data : data analysts, SEO/SEA et emailing - Aider à la mise en place de bonnes pratiques : - Anonymisation et archivage de la donnée dans le respect du RGPD et de la politique interne du traitement de données - Sécurité de l'infra, de la data et du code

Nous recherchons un Data Engineer confirmé pour accompagner les produits data de notre périmètre Connaissance Client et Commerce Animation Performance. Objectif de la mission * Mettre en place une cartographie des données. * Concevoir un Datamesh adapté et partagé, incluant son dimensionnement. * Déployer un Datamesh avec sondes de contrôle qualité garantissant la fiabilité des données. Responsabilités * Créer des pipelines robustes et optimisés afin de mettre à disposition les données de manière efficace et avec un coût FinOps maîtrisé. * Maintenir et faire évoluer les produits data existants. * Collaborer avec les équipes métier dans un environnement Agile (Scrum/Kanban).