INSCRIPTION

Data Engineer Big Data - Freelance

Sur siteAutreTarif à négocier

Présentation de La MISSION

Dans le cadre de la maintenance et du passage à l'échelle de différents outils de datavisualisation et d'analytics, la mission vise à assurer la robustesse des chaînes de traitement de données, l'optimisation des performances et l'intégration de nouveaux cas d'usage analytiques. - Bonne compréhension des architectures Data modernes (Data Lake, Data Mesh, Event-Driven Architecture). - Maîtrise des principes de conception et d'industrialisation des flux de données batch et temps réel. - Connaissance des architectures événementielles et des mécanismes de publication/consommation d'événements (topics, messaging, streaming). - Expérience des environnements Cloud AWS et des bonnes pratiques d'exploitation associées. - Compréhension des enjeux de gouvernance, de qualité et de traçabilité des données. - Capacité à concevoir des solutions robustes, résilientes et évolutives répondant aux besoins métiers. CatégorieCompétences obligatoiresCompétences souhaitéesBig DataSpark (PySpark/Spark SQL), optimisation des jobsHadoopStreamingKafka (producteur/consommateur, topics, partitions)Kafka ConnectLangagesPython (Pandas, PySpark), SQLScala (option)CloudAWS/GCP/AzureTerraform, Cloud Storage (S3, GCS)MonitoringDatadog (métriques custom, API)Prometheus, GrafanaOutils DataAirflow, Dataiku (intégration, recettes)DevOpsKubernetes, Helm, Docker, CI/CD (GitLab CI, Jenkins) Missions - Assurer le maintien en conditions opérationnelles de l'infrastructure Data sur AWS et des produits existants. - Concevoir et déployer des topics événementiels permettant la diffusion et la consommation de données en temps réel. - Renforcer la robustesse, la scalabilité et l'interopérabilité des plateformes de données afin de répondre aux nouveaux besoins métiers et analytiques.

Profil Recherché

Python (Pandas, PySpark) : confirmé - Spark (PySpark/Spark SQL) : confirmé - Kafka (producteur/consommateur, topics, partitions) : confirmé - Connaissance des architectures événementielles et des mécanismes de publication/consommation d'événements (topics, messaging, streaming) : confirmé, Profil recherchéBonne compréhension des architectures Data modernes (Data Lake, Data Mesh, Event-Driven Architecture)Maîtrise des principes de conception et d'industrialisation des flux de données batch et temps réelConnaissance des architectures événementielles et des mécanismes de publication/consommation d'événements (topics, messaging, streaming)Expérience des environnements Cloud AWS et des bonnes pratiques d'exploitation associéesCompréhension des enjeux de gouvernance, qualité et traçabilité des donnéesCapacité à concevoir des solutions robustes, résilientes et évolutives répondant aux besoins métiersCompétences obligatoires en Spark (PySpark/Spark SQL) et optimisation des jobsCompétences obligatoires en Kafka (producteur/consommateur, topics, partitions)Compétences obligatoires en Python (Pandas, PySpark) et SQLCompétences souhaitées en Hadoop, Kafka Connect, Scala (option)Compétences en Cloud (AWS/GCP/Azure) avec des connaissances souhaitées en Terraform, Cloud Storage (S3, GCS)Compétences en monitoring avec Datadog (métriques custom, API), Prometheus, GrafanaConnaissance des outils Data comme Airflow, Dataiku (intégration, recettes)Compétences DevOps souhaitées en Kubernetes, Helm, Docker, CI/CD (GitLab CI, Jenkins), 1. Bonne compréhension des architectures Data modernes (Data Lake, Data Mesh, Event-Driven Architecture) 2. Maîtrise des principes de conception et d'industrialisation des flux de données batch et temps réel 3. Connaissance des architectures événementielles et des mécanismes de publication/consommation d'événements (topics, messaging, streaming) 4. Expérience des environnements Cloud AWS et des bonnes pratiques d'exploitation associées 5. Compréhension des enjeux de gouvernance, qualité et traçabilité des données 6. Capacité à concevoir des solutions robustes, résilientes et évolutives répondant aux besoins métiers 7. Compétences obligatoires en Spark (PySpark/Spark SQL) et optimisation des jobs 8. Compétences obligatoires en Kafka (producteur/consommateur, topics, partitions) 9. Compétences obligatoires en Python (Pandas, PySpark) et SQL 10. Compétences souhaitées en Hadoop, Kafka Connect, Scala (option) 11. Compétences en Cloud (AWS/GCP/Azure) avec des connaissances souhaitées en Terraform, Cloud Storage (S3, GCS) 12. Compétences en monitoring avec Datadog (métriques custom, API), Prometheus, Grafana 13. Connaissance des outils Data comme Airflow, Dataiku (intégration, recettes) 14. Compétences DevOps souhaitées en Kubernetes, Helm, Docker, CI/CD (GitLab CI, Jenkins) EUR Prometheus Scala API Google cloud platform Hadoop SQL AWS Gestion des données Grafana Git Jenkins Kubernetes Big data Python KAFKA Terraform Docker

Partager cette mission via

MISSIONS SIMILAIRES

Explore ces missions en lien avec tes compétences et ton expérience.

L'équipe Socles Data' de la Direction Technique Informatique s'occupe de gérer les socles techniques...

Modélisation de données conceptuelle, logique et physique pour structurer les couches du datalake (B...

Nous poursuivons notre développement et recherchons actuellement un.e Data Engineer pour accompagner...

Autre

DÉCOUVREZ CES MISSIONS POPULAIRES

Dans le cadre du développement de sa présence digitale, Career Booster renforce son équipe avec un(e...

Temps partiel (≤ 32 heures)

Rattaché(e) à la Directrice Marketing, vous contribuez activement au développement de notre collecti...

Au sein de la Direction Opérationnelle Télécom vous piloterez avec votre équipe les chantiers dans l...

clients - Tu maîtrises les outils bureautiques de base - Et surtout : tu veux rejoindre une entrepri...

Pilotage du programme SSE/ZTNA - AMOA / PMO (70 %) - Assurer le pilotage opérationnel du program...

Autre

Questions fréquentes sur les missions freelance

En quoi consiste une mission freelance ?

Une mission freelance est un projet temporaire réalisé pour une entreprise cliente, avec un périmètre, des livrables et un budget définis. Sur InFreelancing, les missions peuvent être ponctuelles, régulières ou longues. Tu organises librement ton travail tout en respectant les objectifs fixés.

Comment postuler sur la plateforme InFreelancing ?

Crée un compte complet avec tes compétences et expériences, consulte les missions disponibles et postule avec un message personnalisé démontrant ta compréhension du besoin. Suis tes candidatures dans ton tableau de bord et reste réactif aux contacts des entreprises.

Pourquoi optimiser son profil de freelance ?

Un profil InFreelancing bien optimisé est ta vitrine professionnelle et augmente significativement tes chances d’être contacté. Les algorithmes de la plateforme favorisent les profils complets dans les résultats de recherche, te permettant de te démarquer et d’attirer des opportunités adaptées à ton expertise.