New! Démarquez-vous en passant des tests de personnalité gamifiés. Lancez-vous dès maintenant, en découvrant les trois tests disponibles gratuitement!
DBT
Docker
Gitlab
Google Cloud Platform (GCP)
PySpark
Python
SQL, Nous recherchons pour notre client grand compte un Data Engineer senior GCP / BigQuery / Airflow.
Nous étudions - prioritairement - les candidatures qui nous sont adressées à freelance à insyco . fr avec les informations suivantes :
* Argumentaire écrit répondant de façon ciblée au besoin ci-dessous
* CV à jour au format Word
* Date de prochaine disponibilité
* Tarif journalier, La prestation s'effectuera au sein d'une direction en charge des projets numériques, en collaboration étroite avec une direction spécialisée dans la valorisation des données. Cette dernière a pour objectif de :
* maximiser la collecte des données tout en respectant les réglementations en vigueur
* développer la connaissance et l'expérience utilisateurs
* fournir aux équipes internes des outils de pilotage et d'aide à la décision
Le consultant interviendra dans une équipe appelée Bronze, composée d'un Product Owner et de trois Data Engineers. Cette équipe est responsable du socle technique d'une plateforme Data numérique reposant sur une architecture en médaillon au sein d'un environnement LakeHouse.
Le socle technique repose sur :
* SQL
* dbt
* Airflow pour l'orchestration
* Gitlab CI/CD pour le déploiement
* Terraform / Terragrunt pour l'industrialisation (Infrastructure as Code)
Activités principales de la prestation :
* Collecte et ingestion de sources de données brutes
* Mise en place de pipelines de traitement de données
* Développement de modèles de données
* Extraction et exposition des données vers une zone intermédiaire (zone Silver)
* Industrialisation des environnements en collaboration avec les équipes d'exploitation
* Participation active à toutes les phases du projet : cadrage, planification, réalisation
* Mise en place et maintenance d'infrastructures scalables adaptées à l'évolution rapide des volumes de données
* Contribution à la veille technique
* Optimisation des performances et maîtrise des coûts
Expertises techniques requises :
* Minimum 5 ans d'expérience en data engineering
* Compétences solides en data : structures, code, architecture
* Expérience avérée dans un environnement Google Cloud Platform (GCP)
* Maîtrise de PySpark, BigQuery, Airflow
* Mise en œuvre de pipelines ETL / ELT
* Expérience Gitlab CI/CD
* Utilisation de Docker
* Pratique de Terraform et Terragrunt
* Maîtrise indispensable de SQL et Python
* Capacité à vulgariser et expliquer des sujets techniques
* Connaissance des méthodes Agile (Scrum, Kanban)
Environnement de travail
* Disponibilité attendue : temps plein
* Rythme de présence sur site : au moins 50% du temps dans les locaux du client (Paris)
* Matériel requis : le prestataire doit fournir un poste de travail sécurisé (antivirus, disque chiffré, mises à jour système, verrouillage actif, stockage sécurisé des mots de passe)
* Moyens de communication adaptés requis pour exécuter la prestation