🧭 Contexte de mission

Dans le cadre de la transformation de sa plateforme Data, un grand groupe du secteur de l’assurance recherche un(e) Data Engineer Senior afin de renforcer son équipe Data et accompagner la modernisation de son Data Lake.

La mission s’inscrit dans un contexte de forte évolution des architectures de données avec plusieurs enjeux stratégiques :

• Rationalisation et unification du Data Lake
• Réduction des duplications de données
• Mise en place d’une architecture de référence de type Bronze / Silver / Gold
• Transition progressive des traitements batch vers des flux temps réel
• Intégration de mécanismes de Change Data Capture (CDC)
• Déploiement de solutions de streaming autour de Kafka
• Accompagnement de la transformation d’un environnement historique Hadoop vers une architecture modernisée

Vous rejoindrez une équipe composée principalement de Data Engineers expérimentés, au sein d’un environnement fortement orienté expertise technique et traitement de données à grande échelle.

🎯 Missions principales et rôle

Au sein de l’équipe Data Engineering, vous interviendrez sur les projets d’évolution et d’optimisation de la plateforme Data.

Vos principales missions seront :

Développement & Data Engineering

• Concevoir, développer et maintenir les traitements de données
• Développer des pipelines de traitement distribués avec Spark et Scala
• Participer à la modernisation des chaînes d’ingestion et de transformation
• Garantir la qualité, la fiabilité et la performance des traitements

Architecture Data

• Participer à la mise en œuvre de l’architecture cible Bronze / Silver / Gold
• Contribuer à la réduction des redondances et à l’unification des données
• Optimiser les flux de données et les modèles de stockage
• Accompagner la transformation progressive de l’écosystème historique

Streaming & Temps Réel

• Mettre en œuvre des mécanismes de Change Data Capture (CDC)
• Développer des flux événementiels autour de Kafka
• Participer à la transition des traitements batch vers des traitements temps réel
• Assurer la robustesse et la supervision des flux de données

Maintenance & Optimisation

• Maintenir les environnements existants basés sur Oracle, HDFS et Hive
• Participer aux analyses de performance et aux optimisations techniques
• Assurer le support et la résolution des incidents de production
• Contribuer aux bonnes pratiques de développement et d’exploitation

Collaboration

• Travailler en étroite collaboration avec les équipes infrastructures, projets et architecture
• Participer aux échanges techniques et aux ateliers de conception
• Assurer le reporting de son activité et remonter les alertes en cas de risque

🚀 Objectifs

• Accompagner la transformation de la plateforme Data
• Déployer une architecture de données unifiée et industrialisée
• Réduire les duplications et améliorer la qualité des données
• Développer les capacités de traitement temps réel
• Garantir la performance et la fiabilité des pipelines de données
• Accompagner l’augmentation de la charge et des nouveaux projets Data

🧠 Compétences requises

Data Engineering

• Spark (expert)
• Scala (expert)
• Architecture Big Data
• Traitement distribué
• Optimisation de performances

Streaming & Temps Réel

• Kafka
• Change Data Capture (CDC)
• Architecture événementielle
• Streaming de données

Écosystème Data

• Hadoop
• HDFS
• Hive
• Oracle

Développement & Industrialisation

• Git
• Gestion de versions
• Automatisation des traitements
• Gestion des flux de données

Échanges de données

• SFTP
• Protocoles de transfert de fichiers sécurisés
• Gestion des flux entrants et sortants

Qualités relationnelles

• Travail en équipe
• Communication avec les équipes techniques et projets
• Capacité à collaborer dans des environnements complexes
• Esprit d’analyse et de synthèse
• Réactivité et sens des responsabilités

👤 Profil

• Data Engineer Senior
• Minimum 5 années d’expérience hors alternance
• Expertise confirmée sur Spark et Scala
• Expérience significative dans les environnements Big Data
• Maîtrise des architectures de streaming et CDC
• Expérience des environnements Hadoop historiques
• Capacité à évoluer dans des contextes de transformation technique
• Profil orienté réalisation, industrialisation et optimisation
• Bon communicant capable de travailler avec différents interlocuteurs techniques