Non renseigné
Secteur du nucléaire. Équipe de 5 à 6 personnes, projet sur du long terme. Data plateforme en place, maintien et amélioration de la plateforme, intégration de l'IA, sécurité du client à prendre en compte. Full time (possible démarrage à 3/5ème dans un premier temps). Démarrage : ASAP. Présentiel souhaité : 2 à 3 jours sur site à Lyon., * Optimisation et mise en place de l'architecture Data Platform (Azure Databricks) en appliquant les bonnes pratiques de gouvernance, performance et scalabilité. * Organisation et structuration des ressources pour l'industrialisation de nouveaux use cases et la livraison en production. * Montée en compétence de l'équipe Data (mentorat, standards d'architecture, bonnes pratiques CI/CD). * Implémentation d'une architecture Data Mesh orientée domaines. * Mise en place des droits d'accès et de la gouvernance des Data Domains et des use cases via Databricks Unity Catalog. * Gestion centralisée du catalogue de données, data lineage et sécurité. * Refonte et optimisation de l'architecture Data Platform pour améliorer performance, coûts et maintenabilité. * Optimisation des performances de traitement (Spark tuning, optimisation Delta, partitioning, caching). * Création et orchestration de workflows sur Azure Databricks. * Développement de notebooks d'intégration et de transformation des données (PySpark / SQL). * Développement de pipelines Azure Data Factory. * Mise en place de pipelines DevOps CI/CD et industrialisation des déploiements multi-environnements (DEV / UAT / PROD). * Mirroring des catalogues et use cases Databricks vers Fabric pour unifier la gouvernance et faciliter l'adoption métier. * Utilisation des Shortcuts vers OneLake afin d'éviter la duplication de données, réduire les coûts de stockage et améliorer la performance des rapports Microsoft Power BI. * Implémentation d'AI Data Agents pour démocratiser l'accès aux données. * Utilisation de Copilot via Data Agent pour permettre aux utilisateurs métier d'interagir en langage naturel avec les données. * Intégration des Data Agents dans Microsoft Teams afin d'améliorer la collaboration et la génération assistée d'insights. Outils & Environnement * Azure Databricks * Databricks Unity Catalog * Azure Data Factory * Azure DevOps * Azure Key Vault * Azure Data Lake Storage (ADLS Gen2) * Azure Cosmos DB * Microsoft Power BI * OneLake * PySpark * Spark SQL * Delta Lake * CI/CD * Data Mesh
* Remplacement à faire. * Architecte, 2/3 jours par semaine, idéalement à Lyon. * Répartition du temps : 2/5 architecture, 2/5 lead tech Databricks, 1/5 travail sur les use case métier. * Anglais requis., * 2/5 d'expérience en architecture * 2/5 d'expérience en lead tech Databricks * 1/5 d'expérience sur les use cases métier * Maîtrise de Azure Databricks, Databricks Unity Catalog, Azure Data Factory, Azure DevOps, Azure Key Vault, Azure Data Lake Storage (ADLS Gen2), Azure Cosmos DB, Microsoft Power BI, OneLake * Compétences en PySpark, Spark SQL, Delta Lake, CI/CD, Data Mesh et Lakehouse Architecture * Capacité à optimiser les performances de traitement (Spark tuning, optimisation Delta, partitioning, caching) * Expérience en développement de notebooks d'intégration et de transformation des données * Compétences en orchestration de workflows et pipelines Azure Data Factory * Expérience en mise en place de pipelines DevOps CI/CD et industrialisation des déploiements multi-environnements (DEV / UAT / PROD) * Anglais requis
Partager cette mission via
Explore ces missions en lien avec tes compétences et ton expérience.
