🎯 Contexte de mission

Au sein d’une équipe Data dédiée au catalogue de contenus, vous contribuerez à la construction et à l’industrialisation de la plateforme Data alimentant les expériences digitales d’un acteur majeur des médias.

Vous intégrerez une équipe pluridisciplinaire composée de Data Engineers, développeurs, DevOps, Scrum Masters et Product Owners, évoluant dans un environnement Agile / Scrum avec intégration et déploiement continus et pratiques de revue de code.

L’enjeu principal est de fiabiliser et industrialiser les flux de données du catalogue de contenus : métadonnées éditoriales, programmes, saisons, droits et disponibilités.

🛠️ Missions principales et rôle

• Concevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark.
• Construire des pipelines performants, scalables, rejouables et résilients.
• Modéliser et faire évoluer les tables Apache Iceberg sur Amazon S3.
• Garantir la performance, l’évolutivité et la gouvernance des modèles de données.
• Mettre en place des contrôles de qualité sur les données :
  • complétude ;
  • unicité ;
  • fraîcheur ;
  • cohérence ;
  • traçabilité.
• Concevoir des traitements résilients et idempotents.
• Mettre en œuvre la reprise sur erreur et des mécanismes de retry maîtrisés.
• Gérer les données en retard, les rejouabilités et les opérations de backfill.
• Déployer et maintenir le monitoring opérationnel des pipelines.
• Mettre en place des métriques, logs structurés, dashboards et alertes pertinentes.
• Surveiller les erreurs, volumes traités, fraîcheur des données et temps d’exécution.
• Participer aux phases de développement et de tests :
  • tests unitaires ;
  • tests d’intégration ;
  • tests de qualité des données ;
  • tests de performance ;
  • tests de montée en charge.
• Documenter les pipelines, modèles de données, procédures d’exploitation et choix techniques.
• Participer à l’amélioration continue des pratiques et de la plateforme Data.

🎯 Objectifs

• Fiabiliser les données du catalogue de contenus.
• Industrialiser les flux de données et leur exploitation.
• Garantir des données fraîches, cohérentes, traçables et disponibles pour les produits.
• Construire des pipelines capables de gérer les erreurs, reprises, retards et backfills.
• Améliorer l’observabilité et la qualité opérationnelle des traitements.
• Garantir la performance et la scalabilité de la plateforme Data.
• Contribuer à la mise à disposition de données fiables pour les expériences digitales et produits utilisés par les abonnés.

💻 Compétences requises

Data Engineering

• Apache Spark.
• SQL.
• Python et/ou Scala.
• Conception et développement de pipelines Data.
• Gestion des traitements distribués et de la performance.

Data Platform & Cloud

• AWS.
• Amazon S3.
• Apache Iceberg.
• Architectures Data Cloud.
• Modélisation et gestion de tables analytiques.

Qualité & résilience

• Data Quality.
• Contrôles de complétude, unicité, fraîcheur et cohérence.
• Traçabilité des données.
• Traitements idempotents.
• Rejouabilité et backfill.
• Gestion des erreurs et des données en retard.
• Performance et montée en charge.

DevOps & Observabilité

• Git.
• CI/CD.
• Monitoring et alerting.
• Logs structurés.
• Dashboards et métriques opérationnelles.
• Sensibilité aux problématiques d’observabilité.

Méthodologies

• Agile / Scrum.
• Revue de code.
• Travail en équipe pluridisciplinaire.

👤 Profil recherché

• Formation supérieure en informatique, Data ou ingénierie.
• Première expérience significative en Data Engineering.
• Bonne maîtrise de Spark et SQL.
• Expérience en Python et/ou Scala appréciée.
• Connaissance des architectures Data sur AWS, notamment S3 et Iceberg.
• Forte sensibilité aux enjeux de qualité des données, résilience et observabilité.
• Autonomie, curiosité et capacité à prendre en charge des sujets techniques.
• Goût du travail en équipe et de la collaboration avec des profils variés.
• Rigueur et volonté de contribuer à l’amélioration continue des produits et de la plateforme Data.