Data Engineer Confirmé (Snowflake, Dbt) (It) / Freelance

Contexte Dans le cadre de projets data en environnement on-premise, nous recherchons un Développeur Big Data confirmé maîtrisant l'écosystème Cloudera pour intervenir sur le traitement de données batch à forte volumétrie. Livrables * Développer et optimiser des traitements batch sur plateforme Cloudera. * Implémenter des jobs Spark (Scala) et des requêtes Hive. * Assurer la maintenance et l'amélioration des pipelines existants. * Participer aux revues de code, aux tests et à l'industrialisation.

Périmètre de la consultation : Prestations attendues Activités principales du data scientist : * Comprendre les cas d'usage * Participer aux réunions de cadrage des besoins avec le chef de projet DPIT * Apporter une expertise et évaluer la pertinence de l'IA pour le besoin * Réaliser une première estimation de l'effort nécessaire au développement d'une solution * Développer des POC (Proof of Concept) pour démontrer la faisabilité et la performance, Collecte de données : * Identifier les sources de données (internes et externes) * Extraire les données depuis des bases de données, des API, des fichiers texte, des documents Word/PDF, via du web scraping, des données semi-structurées, etc. Préparation et nettoyage des données : * Nettoyer les données : corriger ou supprimer les données corrompues/incorrectes, gérer les valeurs manquantes, supprimer les doublons * Transformer les données : normaliser les formats, mettre à l'échelle, encoder les variables catégorielles Ingénierie des caractéristiques (Feature Engineering) : * Extraire, créer et sélectionner les caractéristiques pertinentes à partir des données brutes Traitement du langage naturel (NLP) : * Extraire, nettoyer et transformer le texte issu de documents non structurés Exploration et visualisation des données : * Réaliser une analyse exploratoire des données (EDA) * Détecter des motifs et tendances pour formuler des hypothèses et identifier des relations causales potentielles Modélisation et développement : * Utiliser Python pour développer des applications et des interfaces utilisateur de base * Sélectionner les algorithmes de ML/DL appropriés * Entraîner les modèles et ajuster les paramètres * Valider les modèles via la validation croisée pour éviter le surapprentissage (overfitting) * Instancier des modèles de langage pré-entraînés (LLMs, embeddings, rerankers, etc.) et les intégrer dans des solutions complexes comme le RAG (Retrieval-Augmented Generation) Maîtrise des bibliothèques Python clés : * Manipulation de données : Pandas, Polars, Dask, PySpark * NLP : NLTK, SpaCy * Machine Learning : Scikit-Learn, XGBoost, LightGBM * Deep Learning : PyTorch * IA Générative : Ollama, Transformers, SentenceTransformers, Langchain, LlamaIndex Évaluation des modèles : * Utiliser des métriques de performance : précision, rappel, F1 score, AUC-ROC, Matthews, RMSE, MAE, R², MAPE, Silhouette, etc. * Analyser les erreurs de prédiction pour identifier les faiblesses et les axes d'amélioration Déploiement des modèles : * Collaborer avec les équipes d'ingénierie pour intégrer les modèles en production * Automatiser les pipelines de données du stockage à l'inférence * Développer des API pour permettre l'accès aux modèles par d'autres systèmes ou utilisateurs Surveillance et maintenance : * Surveiller les performances des modèles en production et détecter toute dégradation * Mettre à jour et réentraîner régulièrement les modèles pour maintenir leur performance face aux nouvelles données et aux évolutions Documentation et communication : * Documenter les processus, méthodologies, choix de conception et résultats des modèles * Présenter les analyses et résultats aux parties prenantes avec des visualisations claires et un langage accessible * Rédiger des rapports et préparer des présentations pour partager les conclusions et recommandations Recherche et développement : * Se tenir informé des dernières avancées en algorithmes, techniques de ML et outils * Prototyper et expérimenter de nouveaux modèles et approches pour résoudre des problèmes complexes ou améliorer les performances Collaboration : * Travailler avec des experts métier, des analystes business et d'autres parties prenantes pour comprendre les besoins et contraintes spécifiques

La data est un élément clé dans la commercialisation des offres énergétiques B2B, et particulièrement pour l'entité B2B « Entreprises & Collectivités » (E&C), qui a investi, et continue d'investir dans son système d'information afin d'accroître sa compétitivité et de poursuivre son développement dans les meilleures conditions, notamment dans la centralisation et le suivi de l'ensemble des données de consommation des clients en contrat et prospect afin de les exposer aux applications et aux métiers qui en ont besoin pour développer de nouvelles offres et de nouveaux besoins en France et à l'international. L'équipe MDP France est en charge de la plateforme de collecte des données de consommation auprès des distributeurs et des gestionnaires d'équilibre, de l'exposition des données de manière homogène et du suivi de leur qualité entre autres., Dans ce contexte, le « Data Engineer » rejoindra l'équipe MDP France en tant que Tech Lead de l'équipe de développement afin de contribuer au développement d'un projet de transformation stratégique pour le groupe et au maintien en condition opérationnelle de la chaîne d'acquisition des données de consommation jusqu'à son exposition pour la France sur le segment B2B (transformation de données, développement d'APIs, batch/events). L'ingénieur Data / Tech Lead sera impliqué dans le développement de la plateforme MDP France, les spécifications techniques, les phases de tests unitaires et d'intégration, et les déploiements de la chaîne CI/CD., * Support de l'équipe de développement * Amélioration continue de la plateforme * Développement de jobs d'ingestion et de transformation de données * Réalisation des tests unitaires et des tests de masse * Suivre la production et assurer la correction des incidents opérationnels * Documenter et partager les connaissances avec l'ensemble de l'équipe (présenter les progrès et les réalisations)

Le courtier en prêts immobiliers est un véritable chef d'entreprise, autonome et ambitieux, capable de développer son business tout en bénéficiant du soutien de l'enseigne. Sa mission est de permettre à nos clients acquéreurs de réaliser leur projet d'achat immobilier en négociant pour eux les meilleures conditions de prêt immobilier auprès nos partenaires bancaires. Pour réussir en tant que courtier en prêts immobiliers : - Vous prospectez l'ensemble des intervenants de l'écosystème de l'immobilier (agences immobilières, mandataires en immobilier, constructeurs, promoteurs, assureurs) afin de vous constituer un réseau d'apporteurs d'affaire. - Vous prenez en charge la relation client dans son intégralité (étude du projet, analyse financière, montage de dossier de prêt et sa présentation en banque) et assurer un accompagnement de proximité jusqu'à la concrétisation du projet d'acquisition (déblocage des fonds et/ou signature de l'acte chez le notaire)., Afin d'être bien accompagné(e) dans votre activité de courtier en prêts immobiliers, nous vous proposons de rejoindre l'une de nos agences, de pouvoir bénéficier d'outils performants (logiciels, applications) et du soutien de nos équipes supports (service administratif, juridique, marketing / webmarketing et informatique) ainsi que de l'ensemble des partenaires bancaires. - Vous serez formé(e) en continue par nos formateurs de CAFPI Academy et vous bénéficierez d'un accompagnement commercial et technique en agence par nos animateurs. - Quant à la rémunération, elle sera le reflet de votre activité. Notre système de commissionnement est indexé sur le CA généré. Il sera progressif et non plafonné (pas de minimum fixe).