Description de la mission
🚀 Contexte de la mission
Dans le cadre de l'évolution et de la modernisation de sa plateforme de données, la Direction Data d'un grand compte mène un programme stratégique de transformation de son Data Lake On-Premise.
Historiquement appuyée sur des infrastructures On-Premise (Oracle Big Data Appliance, distribution Hadoop legacy, HDFS, Hive), l'architecture entame une transition majeure vers un modèle événementiel temps réel et une unification des données en couches standardisées (Bronze / Silver / Gold / Medallion Architecture) afin d'éliminer les duplications et d'offrir une source de vérité unique.
Pour accompagner cette hausse significative d'activité et renforcer le trinôme de développement opérationnel, nous recherchons un(e) Data Engineer Senior — Spark / Scala & Streaming (H/F).
🎯 Missions principales & Rôle
Au sein d'une équipe technique chevronnée (trinôme opérationnel, Tech Lead et Chef de Projet) et en lien direct avec le pôle Infrastructure et les chefs de projet :
- Unification & Architecture en Couches :
- Structurer et décliner l'architecture cible du Data Lake selon le modèle en couches (Bronze ➔ Silver ➔ Gold).
- Rationaliser les flux d'alimentation pour réduire drastiquement les duplications de données.
- Garantir la qualité, la traçabilité et l'intégrité des données à destination des usages réglementaires (détection de fraude), décisionnels (BI) et de la Vision 360° Client.
- Migration vers le Temps Réel & Streaming :
- Concevoir et développer les pipelines d'ingestion streaming en temps réel en s'appuyant sur Kafka.
- Mettre en place et intégrer les mécanismes de Change Data Capture (CDC) à partir des bases de données sources (Oracle).
- Développement & Optimisation des Pipelines Data :
- Développer, optimiser et maintenir les traitements lourds de données en Spark / Scala.
- Interagir avec le socle legacy (HDFS, Hive, bases Oracle) et assurer le transfert sécurisé des fichiers de données.
- Garantir le versionnage rigoureux du code (Git) et le respect des normes d'intégration continue.
🏁 Objectifs
- Déployer la nouvelle architecture unifiée en couches Bronze/Silver/Gold.
- Opérer le virage du mode batch traditionnel vers un traitement événementiel au fil de l'eau (CDC + Kafka).
- Sécuriser la chaîne de traitement pour les cas d'usage à fort enjeu (Conformité, Fraude, Reporting, Vente multi-canal).
🛠️ Compétences requises
⚙️ Expertise Technique (Impérative)
- Traitement & Langage (Expert) : Maîtrise avancée du framework Apache Spark et du langage Scala (cœur de la stack technique).
- Streaming & CDC (Confirmé à Expert) : Expérience avérée dans la mise en œuvre de Kafka et de patterns d'ingestion via Change Data Capture (CDC).
- Écosystème Big Data & Legacy : Pratique solide des environnements HDFS, Hive et de la gestion/requêtage de bases de données Oracle.
- Ingénierie Logicielle : Maîtrise des bonnes pratiques de développement, gestion des versions avec Git, protocoles de transfert (SFTP) et optimisation de la performance distribuée.
👤 Profil recherché
- Séniorité : Minimum 5 ans d'expérience obligatoire (hors alternance) en ingénierie de données / Big Data.
- Orientation Technique : Profil purement technique ("fond de cave"), orienté traitement, transformation et restitution de données à grande échelle.
- Soft Skills & Posture :
- Aisance relationnelle & Esprit d'équipe : Un profil communicant, capable d'interagir naturellement avec les chefs de projet, les équipes infrastructure et les métiers (pas de "technicien isolé").
- Rigueur, Transparence & Réactivité : Rendre compte régulièrement de l'avancement des travaux, savoir alerter au bon moment et faire preuve d'autonomie.
- Agilité & Souplesse : Capacité à s'adapter facilement aux ajustements de priorités, avec une attitude positive, dynamique et collaborative.
- Pédagogie passive / Écoute : Capacité d'apprentissage rapide au contact d'une équipe de "sachants" détenant une très forte expertise métier et technique.
