MATCHING | INSCRIPTION

Data Engineer - Java / Spark Scala - Toulouse - Plein temps (> 32 heures)

Celad

Rejoignez une équipe passionnée et boostez la transformation Big Data !

Nous accompagnons notre client pour renforcer une équipe spécialisée dans la gestion et l'industrialisation des traitements de données massifs et recherchons un.e Data Engineer. Vous interviendrez sur une plateforme Big Data dédiée à l'exploitation de larges volumes de données, utilisée pour des analyses avancées et des modèles prédictifs.

MISSION

En tant que Data Engineer, vous aurez un rôle clé dans la mise en place et l'optimisation des pipelines de données. Vous serez en interaction avec des équipes pluridisciplinaires (développeurs, data scientists, métiers) pour construire des solutions performantes et scalables.

Vos missions au quotidien

-Développer et optimiser des pipelines de données massifs avec Spark et Scala.

-Assurer l'ingestion, le nettoyage et l'enrichissement des données en vue de leur exploitation.

-Exposer les données via des API et Web Services pour les rendre accessibles aux applications et modèles ML.

-Contribuer à l'industrialisation et à la mise en production des traitements Big Data.

-Collaborer avec les data scientists pour améliorer la maturité industrielle des modèles de machine learning.

-Maintenir et optimiser les solutions en production pour garantir leur performance et leur robustesse.

Votre environnement technique

-Langages : Java (J2EE / JDK 17), Scala

PROFIL RECHERCHÉ

Big Data : Spark (SQL/DataFrame), Impala, Kudu, Hive, SQL, Parquet

-Infrastructure & DevOps : Docker, Kubernetes, Helm, Git, Maven

-Messaging & Streaming : Kafka, Redis

-Tests & Qualité : JUnit, Mockito, PowerMock, ScalaMock

-API : Web Services Rest

Et pour réussir dans ce rôle ?

-Vous avez entre au moins 5 ans d'expérience en tant que Data Engineer.

-Vous maîtrisez Spark, Scala et l'écosystème Big Data.

-Vous avez des bases solides en développement backend et en conception de pipelines de données.

-Vous appréciez travailler en équipe et collaborer avec des profils variés (développeurs, data scientists, métiers).

-Une appétence pour le Machine Learning est un plus !

-Anglais courant indispensable pour évoluer dans un contexte international.

DETAIL DE L'OFFRE

Partager cette mission via

MISSIONS SIMILAIRES
POUR VOUS

Technicien Support Applicatif

Au sein d'une équipe de trois personnes, le consultant interviendra sur le support applicatif N0/N1/N2, en lien direct avec les utilisateurs métiers et les équipes techniques., Support de niveau 0 à 2 - Prise en charge des tickets utilisateurs sur un périmètre applicatif large (Web, Flux, Systèmes internes). - Résolution des incidents N1 documentés. - Qualification, dispatch ou escalade des demandes vers le N2/N3 selon complexité. - Suivi et pilotage des tickets escaladés jusqu'à résolution. Exploitation des applications métier - Suivi opérationnel et maintenance des applications : - Hybris (Web) - UR - AMQ (flux) - Winddle - Logys - SAP - Contribution active à l'enrichissement de la documentation technique et fonctionnelle. - Participation à la montée en compétence interne sur les nouvelles problématiques. Assistance quotidienne aux utilisateurs - Administration des accès, comptes utilisateurs, magasins, référentiels (Master Data). - Traitement des demandes de services : extractions de données, reporting ponctuel, etc. - Pédagogie et accompagnement auprès des utilisateurs pour favoriser l'autonomie.

Ingénierie

Dba Linux

A LIRE ATTENTIVEMENT AVANT DE POSTULER CDI (45-55K€) OU Freelance OU Portage salarial - 2 jours de télétravail / semaine - Chaponnay - Expérience de 8 ans minimum Vous aimez les environnements dynamiques, la tech pointue et les projets d'envergure ? Nous recherchons un DBA Linux pour rejoindre une entreprise en pleine croissance et mettre vos compétences au service d'une DSI en pleine transformation., Faire évoluer l'infrastructure système Linux pour accompagner le développement de l'entreprise et renforcer la sécurité du SI - Superviser l'ensemble de l'infrastructure système Linux avec les administrateurs systèmes pour assurer le MCO - Apporter un support technique avancé aux équipes de production - Piloter les coûts liés au fonctionnement de l'infrastructure - Contrôler et améliorer en continu le niveau de sécurité - Pré-valider les mises en production et participer aux workshops d'architecture - Recueillir les besoins métiers et rédiger des cahiers des charges - Gérer les appels d'offres et aider à la sélection des outils SI - Mener à bien les projets définis par la DSI - Participer à l'élaboration de l'architecture des bases de données pour en garantir la performance - Administrer et maintenir les bases de données de l'entreprise, 2/ Premier contact : un coup de fil rapide pour voir si on part sur de bonnes bases 3/ Premier entretien : on parle de vous, de vos compétences, de vos projets et on vous ouvre les coulisses de CELAD 4/ Rencontre Business Manager : on plonge dans le concret, la mission, l'équipe, les défis…

Technologies de l'Information et de la Communication

Freelance - Data Engineer Spark - Scala

Nous constituons un vivier de freelances spécialisés en data engineering pour anticiper les besoins de nos clients sur des projets Big Data et Cloud. Nous recherchons des Data Engineers expérimentés sur Spark et Scala, capables d'intervenir rapidement sur des missions à Nantes et Rennes, dans des contextes variés (banque/assurance, industrie, retail, services). En tant que Data Engineer Spark / Scala, vos missions pourront inclure : - Conception et développement de pipelines de données : ingestion, transformation, nettoyage et enrichissement de données massives. - Développement d'applications distribuées avec Apache Spark (Batch et Streaming) en Scala. - Industrialisation des traitements Big Data : optimisation des performances, gestion des volumes importants, parallélisation. - Mise en place d'architectures data : Data Lake, Data Warehouse, solutions temps réel. - Intégration Cloud : déploiement et utilisation des services Big Data sur AWS, Azure ou GCP (EMR, Databricks, Synapse, BigQuery, etc.). - Tests, qualité et fiabilité : mise en place de bonnes pratiques de développement (CI/CD, tests unitaires et fonctionnels). - Sécurité et conformité : respect des normes RGPD et bonnes pratiques de gouvernance des données. - Documentation et partage : rédaction des spécifications techniques, bonnes pratiques et transmission de compétences aux équipes internes. - Collaboration transverse : travail étroit avec les Data Scientists, Data Analysts, Product Owners et Architectes pour répondre aux besoins métiers.

Technologies de l'Information et de la Communication

Data Engineer - Java - Spark Scala

En tant que Data Engineer, vous aurez un rôle clé dans la mise en place et l'optimisation des pipelines de données. Vous serez en interaction avec des équipes pluridisciplinaires (développeurs, data scientists, métiers) pour construire des solutions performantes et scalables. Vos missions au quotidien - Développer et optimiser des pipelines de données massifs avec SparketScala. - Assurer l'ingestion, le nettoyage et l'enrichissement des données en vue de leur exploitation. - Exposer les données via des API et Web Servicespour les rendre accessibles aux applications et modèles ML. - Contribuer à l'industrialisation et à la mise en production des traitements Big Data. - Collaborer avec les data scientists pour améliorer la maturité industrielle des modèles de machine learning. - Maintenir et optimiser les solutions en production pour garantir leur performance et leur robustesse. Votre environnement technique

Technologies de l'Information et de la Communication

DÉCOUVREZ CES MISSIONS
POPULAIRES

Dba Linux

A LIRE ATTENTIVEMENT AVANT DE POSTULER CDI (45-55K€) OU Freelance OU Portage salarial - 2 jours de télétravail / semaine - Chaponnay - Expérience de 8 ans minimum Vous aimez les environnements dynamiques, la tech pointue et les projets d'envergure ? Nous recherchons un DBA Linux pour rejoindre une entreprise en pleine croissance et mettre vos compétences au service d'une DSI en pleine transformation., Faire évoluer l'infrastructure système Linux pour accompagner le développement de l'entreprise et renforcer la sécurité du SI - Superviser l'ensemble de l'infrastructure système Linux avec les administrateurs systèmes pour assurer le MCO - Apporter un support technique avancé aux équipes de production - Piloter les coûts liés au fonctionnement de l'infrastructure - Contrôler et améliorer en continu le niveau de sécurité - Pré-valider les mises en production et participer aux workshops d'architecture - Recueillir les besoins métiers et rédiger des cahiers des charges - Gérer les appels d'offres et aider à la sélection des outils SI - Mener à bien les projets définis par la DSI - Participer à l'élaboration de l'architecture des bases de données pour en garantir la performance - Administrer et maintenir les bases de données de l'entreprise, 2/ Premier contact : un coup de fil rapide pour voir si on part sur de bonnes bases 3/ Premier entretien : on parle de vous, de vos compétences, de vos projets et on vous ouvre les coulisses de CELAD 4/ Rencontre Business Manager : on plonge dans le concret, la mission, l'équipe, les défis…

Technologies de l'Information et de la Communication

Développeur Java

Human's Connexion recherche un·e Développeur·se Java pour une mission de 6 mois minimum en full time qui intégrera une équipe de 12 personnes dont un responsable des opérations. Le projet est novateur et est à destination de collaborateurs salariés de l'éducation à l'échelle nationale. Vos missions clés : - Etudier les besoins métier et les besoins techniques. - Réaliser conception et modélisation, - Assurer le développement et les tests, - Réaliser la maintenance et les évolutions correctives. - Apporter du support au reste de l'équipe et participer aux choix d'architecture et à la conception. - Veiller aux bonnes pratiques de développement et garantissez la maintenabilité de la solution. - Accompagner les membres de l'équipe pour les montées en compétence et les choix techniques. Tech & Outils : - Vous maîtrisez Java et la stack spring-boot. - Vous maîtrisez ou connaissez les technologies : Java, kafka, PostgreSQL, NoSQL. - Vous êtes intéressé(e) par les outils utilisés dans la chaîne d'intégration continue : Docker, Kubernetes, Gitlab, Jenkins, Nexus, Sonar. - Vous réalisez des conceptions et avez une bonne connaissance des Design Patterns. - Vous êtes intéressé(e) par le front-end (Angular ou autre Framework). - Vous avez des connaissances sur les méthodes Agiles et le DEVOPS. Équipe & environnement : Vous travaillerez en collaboration avec les autres équipes de développement, les ingénieurs DEVOPS, la cellule architecture, les équipes fonctionnelles et de qualifications. Vos mission évoluent et vous travaillez dans un environnement sain et dynamique où vous vous challengerez dans une ambiance conviviale et coopérative. Vous avez de fortes valeurs telles que le respect, l'esprit d'équipe et l'engagement. Vous êtes passionné(e) par le développement, l'architecture et les nouvelles technologies., Dans le cadre d'un nouveau projet pour un de nos clients, nous recherchons un Développeur Full Stack ayant une expérience significative sur Java (F/H) pour une mission de 6 mois en freelance. - Processus de recrutement Nous conviendrons d'un échange téléphonique afin de mieux comprendre vos aspirations, vos attentes et votre parcours. Ce premier contact me permettra également de vous présenter le poste, le projet. À l'issue de cet entretien, et selon la pertinence de nos échanges, une rencontre, en visioconférence ou en présentiel, pourra être organisée pour valider le processus de recrutement.

Technologies de l'Information et de la Communication

Freelance - Data Engineer Spark - Scala

Nous constituons un vivier de freelances spécialisés en data engineering pour anticiper les besoins de nos clients sur des projets Big Data et Cloud. Nous recherchons des Data Engineers expérimentés sur Spark et Scala, capables d'intervenir rapidement sur des missions à Nantes et Rennes, dans des contextes variés (banque/assurance, industrie, retail, services). En tant que Data Engineer Spark / Scala, vos missions pourront inclure : - Conception et développement de pipelines de données : ingestion, transformation, nettoyage et enrichissement de données massives. - Développement d'applications distribuées avec Apache Spark (Batch et Streaming) en Scala. - Industrialisation des traitements Big Data : optimisation des performances, gestion des volumes importants, parallélisation. - Mise en place d'architectures data : Data Lake, Data Warehouse, solutions temps réel. - Intégration Cloud : déploiement et utilisation des services Big Data sur AWS, Azure ou GCP (EMR, Databricks, Synapse, BigQuery, etc.). - Tests, qualité et fiabilité : mise en place de bonnes pratiques de développement (CI/CD, tests unitaires et fonctionnels). - Sécurité et conformité : respect des normes RGPD et bonnes pratiques de gouvernance des données. - Documentation et partage : rédaction des spécifications techniques, bonnes pratiques et transmission de compétences aux équipes internes. - Collaboration transverse : travail étroit avec les Data Scientists, Data Analysts, Product Owners et Architectes pour répondre aux besoins métiers.

Technologies de l'Information et de la Communication

Ingénieur Système Linux / Devops

ZABBIX Description de la mission Nous recherchons un expert Zabbix pour une mission très courte chez l'un de nos clients à Roissy., Le client utilise Zabbix comme outil de supervision pour ses infrastructures serveurs et réseau. Il souhaite s'assurer de la conformité de son installation et bénéficier d'un audit et de conseils personnalisés. Objectifs de la mission : - Vérification de la conformité de la configuration Zabbix actuellement en place - Installation et configuration de templates spécifiques (Exchange, vCenter, Veeam, etc.) - Audit de l'existant - Conseils sur les bonnes pratiques d'usage et d'évolution de la solution

Technologies de l'Information et de la Communication