MATCHING | INSCRIPTION

Data Engineer | Aws | Databricks - Temps partiel (≤ 32 heures)

Hexateam

Cabinet de conseil
Hexateam est un acteur indépendant du conseil et des services en technologies de l'information, spécialisé en e-business, Customer Relationship Management et Business Intelligence. Notre mission est d'accompagner nos clients à mettre en oeuvre leur stratégie concurrentielle en optimisant leurs organisations et processus métiers et en adaptant leurs systèmes d'information. Flexibles, capables de nous adapter rapidement aux contextes de nos clients et aux contraintes des projets, nous nous efforçons d'apporter des réponses adéquates à des besoins sans cesse en évolution., New! Démarquez-vous en passant des tests de personnalité gamifiés. Lancez-vous dès maintenant, en découvrant les trois tests disponibles gratuitement!

MISSION

Dans le cadre de la mise en place et de l'évolution d'une plateforme DATA centralisée, nous renforcons son équipe avec un Data Ingénieur confirmé.
Cette plateforme permet l'intégration, la mise en qualité et la mise à disposition de données brutes ou retravaillées issues de différents producteurs, afin de répondre à des besoins métiers opérationnels et analytiques à grande échelle.

Rôle et responsabilités
* Développement et ingestion de données
+ Concevoir, développer et optimiser des jobs d'ingestion et de transformation de données en Python et Spark sur Databricks, avec gestion de gros volumes.
+ Mettre en place et maintenir des flux de données entre sources externes (ex. bases Oracle) et Delta Lake sur AWS S3.
* Orchestration et supervision
+ Créer et orchestrer des workflows avec AWS Airflow et automatiser les traitements.
+ Mettre en place des mécanismes de contrôle qualité et de validation des données pour garantir cohérence et fiabilité.
+ Développer des jobs de monitoring pour détecter et corriger automatiquement les anomalies.
* Maintien en condition opérationnelle
+ Assurer la disponibilité et la performance des jobs en production.
+ Analyser et corriger les incidents et anomalies détectées.
* Contribution stratégique
+ Participer aux ateliers de conception technique et fonctionnelle.
+ Promouvoir les bonnes pratiques de développement et d'optimisation Big Data.
+ Documenter les processus, architectures et scripts.

PROFIL RECHERCHÉ

+ Python
+ Spark
+ Databricks
+ SQL
* SHOULD :
+ AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM)
* COULD :
+ Big Data (gestion et traitement de très gros volumes de données)
* WOULD :
+ Git

Méthodologies et outils :
* CI/CD avec GitLab
* JIRA / Confluence
* Méthodologie agile Scrum, + Python
+ Spark
+ Databricks
+ SQL
* SHOULD :
+ AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM)
* COULD :
+ Big Data (gestion et traitement de très gros volumes de données)
* WOULD :
+ Git

Environnement de travail

Méthodologies et outils :
* CI/CD avec GitLab
* JIRA / Confluence
* Méthodologie agile Scrum

DETAIL DE L'OFFRE

Partager cette mission via

MISSIONS SIMILAIRES
POUR VOUS

Ingénieur Devops - Sre - Paris

Nous recherchons pour l'un de nos clients de le secteur du commerce 1 Ingénieur DevOps / SRE pour assurer la gestion, l'optimisation et la fiabilité de leur infrastructure. En étroite collaboration avec une équipe de 10 développeurs (Node.js / Vue.js), vous serez le garant de la performance, de la résilience et de la sécurité de notre plateforme., Administration & exploitation de l'infrastructure - Maintenir et améliorer nos environnements Linux (Debian / RHEL). - Gérer et optimiser les clusters Mesos/Marathon/Zookeeper. - Garantir la disponibilité, la performance et la sécurité des bases PostgreSQL, Redis et Elasticsearch. - Superviser les services de mise en cache, files de messages et notifications (AWS Elasticache, SQS, SNS). Automatisation & CI/CD - Développer et maintenir les scripts Ansible et leur pilotage via AWS - Améliorer et fiabiliser les pipelines CI/CD (GitHub Actions). - Automatiser les déploiements applicatifs et les tâches récurrentes. Observabilité, qualité de service & fiabilité - Définir et suivre lesKPI/SLO/SLA pertinents pour l'infrastructure et les services - Déployer et maintenir des dashboards et systèmes d'alerting intelligents (Datadog). - Identifier proactivement les incidents et goulots d'étranglement. - Fournir de la visibilité aux équipes de dev et au management sur la santé du système. Sécurité & réseau - Sécuriser les environnements, les flux et la gestion des accès/secrets. - Définir et appliquer les bonnes pratiques de sécurité opérationnelle. - Gérer et faire évoluer HAProxy, Cloudflare et OpenVPN. Collaboration & amélioration continue - Travailler main dans la main avec les équipes de développement - Apporter un support pragmatique aux projets et besoins spécifiques - Être force de proposition sur l'évolution de l'architecture, des outils et des processus.

Technologies de l'Information et de la Communication

Mission Freelance Architecte Sgbd

T1 : Définition des architectures techniques des solutions de SGBD pour l'IS/IT et les services métiers des réseaux sensibles dédiés *Définir et concevoir les solutions de SGBD, répondant aux besoins IS/IT et business, pour les réseaux classifiés CUE *Réaliser le cadrage des demandes liées à l'évolution de l'infrastructure et des services des SI Classifiés dédiés SGF *Fournir des estimations coûts et de délais *Respecter les normes et standards de la DSI, ainsi que la règlementation et les exigences de sécurité en vue d'homologation des SI par les autorités de tutelles *Définir les processus et les procédures d'exploitation à mettre en oeuvre sur les solutions SGBD. T2 : Rédaction des dossiers d'architectures des solutions de SGBD *Rédiger les dossiers d'architecture (HLD et LLD) et l'ensemble des documents nécessaires au projet, en conformité avec les exigences de la PSSI (Politique de Sécurité des Systèmes d'Informations) et la règlementation applicable, en vue d'une homologation *Faire valider l'ensemble des dossiers d'architecture technique et les documents nécessaires, par les différents comités de validation (internes SGF, voir au niveau groupe) T3 : Accompagnement des équipes de BUILD, de RUN et d'homologation *Apporter du support aux équipes (de développement, d'intégration et de déploiement) en charge de l'implémentation des solutions de SGBD définies *Vérifier la conformité de l'implémentation avec l'architecture et les processus définis *En partenariat avec la Sécurité des Systèmes d'Informations (SSI) préparer et contribuer aux homologations des SI / Services construits et déployés par les équipes SICU *Assurer le transfert de connaissance vers les équipes de BUILD et de RUN sur les solutions de SGBD *Aider à l'automatisation des processus d'exploitation des SGBD

Technologies de l'Information et de la Communication

Développeur Flux Stambia / Semarchy Xdi

Apache Kafka Datadog Git PostgreSQL, Attention mission obligatoire avec au moins 1 expérience similaire en retail (merci de bien faire attention :)) L'équipe Data Engineering recherche un développeur flux Stambia / Semarchy xDI confirmé pour renforcer ses capacités de conception et d'industrialisation de flux de données. L'équipe Data Engineering intervient dans un environnement fonctionnel riche couvrant plusieurs domaines stratégiques (supply, commerce, customer, etc.). L'activité se concentre exclusivement sur des échanges de données opérationnels, hors périmètre décisionnel. Vous évoluerez dans une équipe expérimentée, sur des enjeux variés de BUILD (conception, création, évolutions) et de RUN (exploitation, optimisation, astreinte).Analyse des besoins : - Comprendre les besoins en matière d'intégration de données en collaborant avec les parties prenantes de l'entreprise. Conception : - Concevoir des flux complexes en utilisant l'outil Stambia / Semarchy xDI. - Capacité à modéliser une base de données pour répondre efficacement à des enjeux opérationnels. Développement : - Développer et configurer les flux en suivant les meilleures pratiques. - Produire du scripting (Python, Beanshell, Shell…) pour enrichir ou personnaliser des traitements spécifiques. - S'appuyer sur Git pour faciliter la collaboration entre développeurs. Tests : - Tester ses développements (performance, robustesse, cohérence…) pour garantir la qualité et la fiabilité. Documentation : - Documenter et partager les connaissances. - Réaliser des spécifications techniques. Maintenance : - Assurer la maintenance (suivi de production, monitoring, support, astreinte) des flux de données et les mises à jour en cas de besoin.

Autres

Mission Freelance Data Engineer Aws / Databricks

Nous recherchons un(e) Data Engineer expérimenté(e) pour intervenir sur une mission de conseil et d'optimisation d'une Data Platform AWS Databricks. Vos missions principales * Auditer l'existant de la Data Platform AWS Databricks * Proposer des préconisations techniques & méthodologiques pour renforcer la performance et la fiabilité * Conseiller les équipes sur les bonnes pratiques Data & Cloud * Contribuer à l'évolution et à la roadmap de la plateforme * Accompagner les équipes internes dans la mise en œuvre

Technologies de l'Information et de la Communication

DÉCOUVREZ CES MISSIONS
POPULAIRES

Consultant/Expert Pca - Gestion De Crise Si -

Notre client cherche un prestataire pour accompagner la Mission PCA SI (Plan de Continuité d'Activité des Systèmes d'Information)., * Garantir la capacité opérationnelle du Groupe à gérer les crises numériques (cyber, inondation, panne datacenter, pandémie?), * Maintenir et faire évoluer le PCA SI (MCO, documentation, outillage), * Organiser et entraîner les acteurs de la filière numérique à la gestion de crise. Maintien en Conditions Opérationnelles (MCO) du PCA SI : * Mise à jour du fonds documentaire (fiches réflexes, procédures, annuaires, supports). * Intégration des filiales et nouveaux PCA (inondation IDF, pandémie, délestage, etc.). Gestion des permanences et crises : * Organisation et suivi des permanences DIGIT & ATHENA. * Support en cas de crise et suivi de la conformité des réponses. Outillage de crise et de permanence : * MCO et amélioration continue des outils (SharePoint, Teams, PHENIX-IT, TOTR). * Maintien et évolution d'outils développés en Python et Excel. * Suivi des habilitations. Formation et sensibilisation : * Organisation, animation et suivi des sessions de formation et micro-trainings. * Préparation et mise à jour des supports pédagogiques. * Suivi des indicateurs de satisfaction. Entraînement des acteurs : * Préparation et participation aux exercices PCA (nationaux, cyber, PRA). * REX (retours d'expérience). Évolutions du PCA SI : * Contribution aux nouveaux PCA, extension du périmètre, intégration de nouveaux outillages. * Participation aux travaux du Réseau PCA Groupe., 2. Si votre profil est en adéquation avec le poste, vous rencontrez Sabine BASTIEN en premier rendez-vous 3. Si votre profil séduit, vous rencontrez ensuite votre futur manager accompagné d'un responsable technique sur un second rendez-vous Nous mettons un point d'honneur à donner suite à toutes les candidatures.

Technologies de l'Information et de la Communication

Ingénieur Développement Logiciel C++ / Java - Défense

Dans le cadre d'une mission chez notre client dans le domaine de la Défense, nous recherchons activement un Développeur Logiciel [projet HCD], Analyse : comprendre les besoins fonctionnels et techniques, proposer des solutions adaptées. - Conception : réaliser des schémas, diagrammes et spécifications techniques détaillées. - Développement : écrire du code de qualité, maintenable et performant (principalement en C++, avec une utilisation complémentaire de Java). - Tests et validation : participer aux phases de tests, identifier et corriger les anomalies. - Documentation : rédiger des supports techniques et assurer le suivi des évolutions.

Technologies de l'Information et de la Communication

Ingénieur Localisation C++ - Algorithmes - Véhicules Autonomes

Notre client développe actuellement des solutions de conduite automatisée de nouvelle génération. L'objectif : proposer une localisation robuste et précise, capable d'atteindre la précision décimétrique, pour permettre la conduite mains-libres sur autoroutes, en milieu urbain complexe et dans des environnements contraints (tunnels, parkings, zones à faible signal GNSS)., Concevoir et développer des algorithmes de localisation haute précision adaptés aux systèmes de conduite automatisée (L2+). - Mettre en oeuvre des techniques de fusion de données (caméra, radar, LiDAR, GPS, IMU) pour assurer une robustesse dans des environnements complexes. - Intégrer les données issues de cartes HD collaboratives afin d'améliorer la précision de trajectoire et la prédiction de voie. - Optimiser les performances des filtres (Kalman, particulaire...) et des méthodes de map matching. - Garantir une précision centimétrique, notamment dans des contextes urbains denses, parkings et autoroutes.

Technologies de l'Information et de la Communication

Ingénieur Localisation C++ / Algorithmes - Véhicules Autonomes

Notre client développe actuellement des solutions de conduite automatisée de nouvelle génération. L'objectif : proposer une localisation robuste et précise, capable d'atteindre la précision décimétrique, pour permettre la conduite mains-libres sur autoroutes, en milieu urbain complexe et dans des environnements contraints (tunnels, parkings, zones à faible signal GNSS)., Concevoir et développer des algorithmes de localisation haute précision adaptés aux systèmes de conduite automatisée (L2+). - Mettre en œuvre des techniques de fusion de données (caméra, radar, LiDAR, GPS, IMU) pour assurer une robustesse dans des environnements complexes. - Intégrer les données issues de cartes HD collaboratives afin d'améliorer la précision de trajectoire et la prédiction de voie. - Optimiser les performances des filtres (Kalman, particulaire…) et des méthodes de map matching. - Garantir une précision centimétrique, notamment dans des contextes urbains denses, parkings et autoroutes.

Technologies de l'Information et de la Communication