* Concevoir, implémentez et fournir des solutions pour les problématiques data.
* L?intégration et la collecte des données issues des applications tierces (CRM, réseaux sociaux, etc.) ;
* La conception, le développement et déploiement de nouveaux flux Spark pour les différents besoin métiers (finance, support, industrie?)
* La caractérisation des architectures des produits technologiques ; Choix d?architecture en anticipant les besoins de scalabilité
* La planification et l?orchestration des flux afin d?optimiser la mise à disposition de données.
* Détecter les points bloquants ou les chaînons manquants dans le cycle de traitement des données, et à proposer des solutions à soumettre à leurs collaborateurs.
* D?assurer la continuité de service et le monitoring des flux développés.
* Documentation : capitalisation des savoirs, retours d'expérience et fiches de best practices pour aider à la montée en compétencesdes équipes métier.
* De la veille technologique : proposer de nouvelles solutions techniques pour challenger le fonctionnement actuel et optimiser les temps de traitements tout en réduisant les coûts.
* Évangéliser les meilleures pratiques dans le traitement de la data.
Vous travaillerez en relation avec les équipes responsables des infrastructures et des bases de données ainsi qu?avec les équipes de data analystes et de data scientistes, avec l'appui du chef de projet et en relation directe avec les équipes métiers.
Environnement technique :
* Spark , PySpark , Scala
* HDFS, YARN, Hive, SQL Server, Airflow, Postgresql, kafka
* Python, Java, Shell
* API, Web services
* Git Stash, Ansible, YAML
* Puppet
* Ansible
* CI/CD
* Docker / Kubernetes
* Agilité / Scrum
* la gestion de l?environnement, des tests unitaires, de l?automatisation et des versions ;
Savoir être
* Autonome & Résilient
* Force de proposition
* Rigoureux & Capable de gérer plusieurs sujets en parallèle
* Faire preuve d?adaptabilité
* Pédagogue, vous avez la capacité de vulgariser votre savoir technique pour le mettre au service des autres.
* Organisé , vous avez le sens des responsabilités.
* État d'esprit orienté utilisateur. Vous avez l?esprit d?équipe, vous participez et êtes acteur des différents rituels agiles, Python : Expert
API : Confirmé
devops : Confirmé
kubernetes : Expert
Big Data : Expert
Ansible : Confirmé
Docker : Confirmé
PYSPARK : Expert
Kafka : Confirmé
spark : Expert