TROUVE TES PROCHAINES MISSIONS FREELANCE ET PROPULSE TA CARRIÈRE !

Définir l'architecture technique, la documenter et mettre en œuvre les composants nécessaires à la construction et l'évolution des produits - En s'appuyant sur le catalogue des patterns d'entreprise, s'assurer que les architectures proposées répondent aux exigences suivantes : - Conformité avec les guidelines et directives d'architecture de l'entreprise - Standardisation et respect de la stack technologique - Sécurité (selon les préconisations DIRS) - Scalabilité et robustesse (à leur juste niveau) - Coût et d'optimisation de coût Durant les phases de développement MVP et releases, vous serez en support aux projets sur la conception et la résolution des problèmes techniques. Environnement technique : * OnPremise et Cloud GCP * Solutions de stockage de données (SGBD, NoSQL, fichiers, Big data) * Calcul (VM, containers, orchestration, serverless) * Interfaçages (API, events, streaming) * Authentification (OIDC/OAuth) * CI/CD * Intégration de progiciels * Connaissance d'un language de développement * Maitrise de la méthodologie Agile et SAFe * Maitrise de l'anglais

En tant que Lead Data Engineer, vous travaillerez au sein de l'équipe digitale « data et performance », en charge principalement de l'infrastructure data, et du traitement, de l'intégration et de la transformation de la donnée digitale d'Hermès (hermes.com). Vous serez aussi garant·e de sa qualité et sa sécurité et le respect de la vie privée liée à cette donnée. Vous serez rattaché·e au Data Manager et vous animez et pilotez une équipe de 2 Data Engineer au quotidien. Vous travaillerez principalement sur le Cloud de Google (GCP), mais aussi en partie sur le Cloud Amazon (AWS). Le respect de la vie privée étant au coeur de de votre travail, vous devrez être conscient des problématiques liées à la GDPR. Des connaissances sur les problématiques liées à l'e-Commerce sont un plus. Principales Activités : Industrialisation de l'infrastructure de la Data Platform sous GCP - Vous avez pour principale mission d'accompagner l'équipe Data et Performance dans l'industrialisation de sa plateforme data via : - Mise en place d'environnements dédiés et cloisonnés (Dev / Preprod / Production) - L'automatisation du déploiement et la maintenance des environnements via des outils d'infrastructure as code (Terraform) sous GCP - Mise en place de solutions d'observabilités (monitoring, alerting) au sein de GCP Manipulation/Transformation de données (en batch et stream) - Vous accompagnerez aussi l'équipe Data dans ses activités de transformation de données via : - Maintenance pipelines de données en python (batch et stream) - Des pipelines de transformation en SQL/SQLX dans l'outil DataForm (similaire à DBT) - Mise en place et maintenance d'un outil de data quality (ex : great expectations en python) - Aider au développement des workers dans les Cloud AWS pour récupérer la donnée depuis Kafka et l'envoyer vers PubSub dans GCP. - La connaissance de l'outil DataFlow (Apache Beam) est un plus. Collaboration avec les équipes du pole, centrée sur la donnée de qualité - Standardisation de la base de code de l'équipe (linting, CI/CD, divers tests - Maintien et réalisation de schémas d'architectures et documentation des processus internes - Collaboration avec les autres équipes du pôle Data : data analysts, SEO/SEA et emailing - Aider à la mise en place de bonnes pratiques : - Anonymisation et archivage de la donnée dans le respect du RGPD et de la politique interne du traitement de données - Sécurité de l'infra, de la data et du code

Nous recherchons un Data Engineer confirmé pour accompagner les produits data de notre périmètre Connaissance Client et Commerce Animation Performance. Objectif de la mission * Mettre en place une cartographie des données. * Concevoir un Datamesh adapté et partagé, incluant son dimensionnement. * Déployer un Datamesh avec sondes de contrôle qualité garantissant la fiabilité des données. Responsabilités * Créer des pipelines robustes et optimisés afin de mettre à disposition les données de manière efficace et avec un coût FinOps maîtrisé. * Maintenir et faire évoluer les produits data existants. * Collaborer avec les équipes métier dans un environnement Agile (Scrum/Kanban).

Au sein de la Data Factory nous recherchons à renforcer notre équipe avec un Data Engineer expérimenté. Notre Data Factory joue un rôle central dans l'exploitation et l'optimisation des données pour soutenir les différentes initiatives stratégiques de l'entreprise. Nous nous concentrons sur la création d'une infrastructure de données robuste, la mise en place de pipelines de données fiables, et l'exploitation de données pour générer des insights à forte valeur ajoutée pour nos équipes., * Analyser les besoins métiers et comprendre les impacts business des données afin de réaliser une conception pertinente et alignée avec les objectifs stratégiques. * Concevoir et développer des pipelines de données robustes et scalables en utilisant Talend et les services de Google Cloud Platform (BigQuery, DataForm, Dataflow, Pub/Sub, CloudComposer). Vous serez au cœur de la construction d'une infrastructure de données moderne et performante. * Améliorer la performance et la scalabilité des solutions existantes pour répondre aux besoins stratégiques de l'entreprise. * Collaborer étroitement avec les architectes, PO et Data Analyst pour garantir la qualité et l'exploitation optimale des données. * Maintenir une documentation technique précise et complète sur les processus et les solutions implémentés. * Réalise la recette technique et participe à animer la recette fonctionnelle avec les utilisateurs et le PO * Mettre en place et gérer des systèmes de monitoring et d'alerting pour assurer une supervision proactive des pipelines et systèmes de données, garantissant leur fiabilité et leur disponibilité. * Support au déploiement * Assure la maintenance corrective ou évolutive * S'assure de la cohérence des livrables avec les règles et bonnes pratiques définies au sein de l'équipe Livrables Développements Cahiers de test/recette Dossier de recette / Mise en production Spécifications Document d'exploitation, Nos domaines d'actions concernent : - les déploiements informatiques : câblage, téléphonie sur IP(IPBX, 3CX), infrastructures Télécom (routeurs), pc, tablettes, serveurs, baies de stockage, TPV, terminaux bancaires, systèmes de comptage, de billetterie électronique, de gestion de parking, de contrôle d'accès, vidéo surveillance, objets connectés, étiquettes électroniques RFID, dotation de smartphones, déménagements de parc, gestion de data-center, effacement de données, bornes multimédia, Wifi, caméras, vidéoprojecteurs, murs d'images, systèmes de visioconférence, tableaux numériques, Smart TV, IO/T, remodeling de caisses, imprimantes, mfp, copieurs,.., - l'infogérance avec la délégation d'intervenants en mode planifié auprès de vos clients, - le ticketing avec des interventions à J+1 ou J+2

Analyser les besoins métiers et comprendre les impacts business des données afin de proposer une conception pertinente et alignée avec les objectifs stratégiques. Concevoir et développer des pipelines de données robustes et scalables en utilisant Talend et les services de Google Cloud Platform (BigQuery, DataForm, Dataflow, Pub Cloud Composer). Améliorer la performance et la scalabilité des solutions existantes. Collaborer étroitement avec les architectes, PO et data analystes pour garantir la qualité et la bonne exploitation des données. Maintenir une documentation technique claire et à jour des processus et solutions mises en place. Réaliser la recette technique et participer à l'animation de la recette fonctionnelle avec les utilisateurs et le PO. Mettre en place et gérer des systèmes de monitoring pour assurer la supervision proactive des pipelines. Participer aux phases de déploiement et assurer la maintenance corrective et évolutive. Veiller à la cohérence des livrables avec les standards et bonnes pratiques de l'équipe.

recetter le fonctionnement de la plateforme MLOps en mode portage : fonctionnalités détaillées ci-dessous - démarrer la migration des projets de data science analytics sur la plateforme de portage. Par migration des projets de data science existants, on entend le portage des étapes - d'analyse - d'entraînement/test/validation des modèles - de mise en production - et de monitoring des modèles ces deux objectifs peuvent être menés conjointement, la migration des use-cases existants représentant une opportunité de recette en elle-même. La recette inclut notamment les points suivants : - recette de la workstation : - de ses configurations et containers préparamétrés, qui doivent notamment : - proposer : - un ide fonctionnel : Rstudio server, jupyterlab ou code-oss au choix du datascientist - tout le socle permettant l'utilisation des binaires métiers (Python, R, Java, git) ainsi que l'installation / compilation des packages requis par le projet - être démarrés avec : - un montage fuse d'un ou plusieurs buckets GCS en guise de stockage persistant non rattaché à la VM sous-jacente - une authentification GCP héritée de la connexion aux workstations via la console GCP, Analyse exploratoire / entraînement de modèles : - Le data scientist démarre un container docker sur l'un des serveurs linux. - Ce container expose un Rstudio server (équivalent notebook) auquel le data scientist se connecte. - A partir de cet environnement de travail, le data scientist peut : - installer de manière persistante les packages R/Python dont il a besoin pour son projet - se connecter à notre DWH Bigquery pour requêter, récupérer ou y remonter des données - exploiter de manière non capée les cpus et la ram de la machine hôte - entraîner des modèles - analyser leur performance - sauvegarder sur disque persistant le ou les modèles retenus ainsi que la base d'apprentissage et les fichiers de QOD associés (distributions des variables de la base d'apprentissage) - préparer le ou les scripts d'inférence du modèle, qui, au sein d'un container similaire, loaderont le modèle sauvegardé, réaliseront l'inférence en batch, et remonteront les outputs du modèle (probas et métriques de QOD des variables d'entrée notamment) sur Bigquery et/ou sur fichiers locaux - pusher son code sur un serveur Gitlab on-prem pour partage et versioning - Inférence du modèle : - Un container identique au container d'apprentissage mais dépourvu de Rstudio server est démarré de manière automatique par un worker Airflow afin de réaliser un batch d'inférence. Les dossiers contenant les packages, les scripts et les artefacts nécessaires à l'inférence sont montés au run dans le container. - Le container exporte ses résultats (probas et métriques de QOD des variables d'entrée notamment) sur BigQuery et/ou sur disque. - Monitoring : - Une application R shiny portée par un shiny-server accède aux fichiers locaux et/ou aux données remontées sur Bigquery par les jobs d'inférence et affiche : - le suivi des distributions des inputs du modèle - l'évolution des performances à froid du modèle (dans le cas des modèles supervisés et une fois que l'on dispose de suffisamment de recul temporel) Environnement de travail les technologies utilisées par la plateforme seront : - GCP Workstations : l'environnement de développement - notebooks/Rstudio Server/codeOSS Server