Développeur Big Data Engineer - Base Des Pertes @ Spark @ Finance @ Paris - Freelance

Présentation de La MISSION

Dans le cadre d'un projet Data orienté Base des Pertes, la mission vise à renforcer les capacités de développement, d'industrialisation et d'optimisation de traitements Big Data. L'environnement cible repose sur une plateforme Cloudera / Hadoop, avec des traitements de données volumineux réalisés principalement en Spark Java. Les enjeux portent sur la conception de pipelines robustes, la qualité des données, la performance des traitements et l'industrialisation des déploiements dans un contexte exigeant. Une expérience dans le secteur financier est attendue, idéalement sur des sujets liés à la gestion des risques de crédit. Missions détaillées 1. Développement de pipelines de données Le consultant interviendra sur la conception, le développement et l'optimisation de traitements Big Data. Ses responsabilités incluront : * Concevoir, développer et optimiser des jobs Apache Spark en Java pour le traitement, la transformation et l'agrégation de grands volumes de données issus de sources diverses. * Implémenter des flux de données robustes et performants sur une plateforme Cloudera. * Utiliser HBase pour répondre à des besoins de stockage NoSQL rapides et d'accès à des données structurées ou semi-structurées. * Développer des requêtes SQL complexes sur Hive et Spark SQL pour l'extraction, l'analyse et la validation des données. 2. Optimisation et performance Le consultant participera activement à l'amélioration de la performance des traitements et de la plateforme. Les missions comprendront : * Monitorer la performance des jobs Spark. * Identifier les goulots d'étranglement dans les traitements. * Optimiser les requêtes SQL. * Optimiser les stratégies de lecture et d'écriture sur HDFS et HBase. * Proposer et mettre en œuvre des solutions permettant d'améliorer la scalabilité, la performance et l'efficacité globale de la plateforme. 3. Assurance qualité, industrialisation et DevOps Le consultant contribuera à la fiabilité du code et à l'industrialisation des déploiements. Il sera notamment amené à : * Écrire des tests unitaires et des tests d'intégration afin de garantir la qualité du code. * Participer aux processus de build et de déploiement via les outils de CI/CD. * Utiliser et intégrer les outils d'analyse de code statique dans le cycle de développement. * Gérer les dépendances et les versions applicatives avec Maven. 4. Collaboration et documentation Le consultant travaillera en lien avec les équipes projet et contribuera à l'amélioration continue. Les attendus incluent : * Documenter le code, les architectures et les processus. * Partager les bonnes pratiques de développement Big Data. * Contribuer à l'amélioration continue des pratiques de l'équipe., * CI/CD * Tests unitaires * Tests d'intégration Domaines fonctionnels * BI * Data analyse * Data engineering * Data quality * Finance * Gestion des risques de crédit, idéalement