CS Group Solutions
Cabinet de conseil CS GROUP SOLUTIONS est une société de conseil, prestataire de services en informatique et cabinet de recrutement. Spécialisée dans le placement de consultants experts dans le domaine des métiers de l'informatique. Nos chargés d'affaires définissent avec vous vos recherches, et vous proposent les meilleurs missions en adéquation avec vos compétences. Nous recrutons des profils informatiques à tous niveaux de responsabilité pour le compte d'entreprises utilisatrices, SSII et d'éditeurs de logiciels ... Nous sommes structurés en deux entités : -"Sociétés de Services", partenaire privilégié des clients grands comptes, nous sommes spécialisés dans la prestation de compétences IT en régie ou au forfait. -"Cabinet de Recrutement" , nous recherchons et recrutons des candidats tels que : ingénieurs d'études, consultants fonctionnels et/ou techniques, architectes, chefs de projet, etc. CS Group Solutions est spécialisé sur les compétences suivantes: - AS 400 - ERP - Réseau et Sécurité - Infrastructure - Nouvelle Techno/Web - BI, Supply chain - Système et Bureautique - Mainframe - ...., New! Démarquez-vous en passant des tests de personnalité gamifiés. Lancez-vous dès maintenant, en découvrant les trois tests disponibles gratuitement!
MISSION
Objectif global : Accompagner Plateforme BigData Les livrables sont: * Big Data & Traitement Distribués * Orchestration de workflow Compétences techniques: * Spark - Expert - Impératif * Kafka - Confirmé - Impératif * Stack HADOOP - Expert - Impératif Description détaillée: - Langages de programmation : Python (maîtrise avancée, développement de pipelines de données, optimisation de code, savoir mettre en place une campagne de tests) - Orchestration de workflow : Apache Airflow (création, gestion et optimisation de DAGs, intégration avec divers services) - Big Data & Traitement Distribués : o Apache Spark (Dév et optimisations) o Spark Streaming avec dépendances Kafka o Cloudera CDP (tuning des traitements) - Stockage et Bases de Données : o Hive, HDFS, (+ Impala et Iceberg dans un futur proche) - Sécurité & Chiffrement : o Chiffrement des flux de données et des bases (TLS, SSL, Kerberos, Hashicorp Vault, PGP) o Ranger KMS (chiffrement du stockage sur le cluster) - DevOps & CI/CD : o Git, GitLab CI/CD, Importance de la qualité de code (Sonar, XRay), Jenkins, XL Deploy o Monitoring (Open Search Dashboard, Grafana, ELK Stack) 3. Méthode de travail - Méthodologies Agile (Scrum, Kanban) 4. Soft Skills - Capacité à prendre des décisions stratégiques sur les choix technologiques - Adaptabilité et réactivité face aux évolutions technologiques - Esprit analytique et résolution de problèmes complexes
PROFIL RECHERCHÉ
Minimum 5 ans d'expérience en Big Data avec un focus sur Spark et Airflow - Expérience en tant que Tech Lead sur des projets complexes - Connaissance approfondie des architectures distribuées, * - Langages de programmation : Python (maîtrise avancée, développement de pipelines de données, optimisation de code, savoir mettre en place une campagne de tests) - Orchestration de workflow : Apache Airflow (création, gestion et optimisation de DAGs, intégration avec divers services) - Big Data & Traitement Distribués : o Apache Spark (Dév et optimisations) o Spark Streaming avec dépendances Kafka o Cloudera CDP (tuning des traitements) - Stockage et Bases de Données : o Hive, HDFS, (+ Impala et Iceberg dans un futur proche) - Sécurité & Chiffrement : o Chiffrement des flux de données et des bases (TLS, SSL, Kerberos, Hashicorp Vault, PGP) o Ranger KMS (chiffrement du stockage sur le cluster) - DevOps & CI/CD : o Git, GitLab CI/CD, Importance de la qualité de code (Sonar, XRay), Jenkins, XL Deploy o Monitoring (Open Search Dashboard, Grafana, ELK Stack) 3. Méthode de travail - Méthodologies Agile (Scrum, Kanban) 4. Soft Skills - Capacité à prendre des décisions stratégiques sur les choix technologiques - Adaptabilité et réactivité face aux évolutions technologiques - Esprit analytique et résolution de problèmes complexes 5. Expérience Recherchée - Minimum 5 ans d'expérience en Big Data avec un focus sur Spark et Airflow - Expérience en tant que Tech Lead sur des projets complexes - Connaissance approfondie des architectures distribuées
Paris
Non renseigné
30/07/2025
Freelance