Description de la mission

Contexte de la mission

Au sein du pôle Data Services, le Data Engineer Senior intervient sur la conception, l’industrialisation et l’évolution des solutions data.

Il contribue aux sujets d’architecture, de modélisation, d’optimisation des pipelines et à la stratégie Lakehouse.

Concevoir, développer et optimiser des pipelines data à grande échelle.
Mettre en œuvre des flux batch, streaming et des ingestions via API.
Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold).
Développer et industrialiser les pipelines avec DBT, Spark et Iceberg.
Contribuer à l’évolution de l’architecture Lakehouse.
Orchestrer les workflows ETL/ELT avec Airflow et déployer les traitements sur AWS.
Mettre en œuvre l’Infrastructure as Code avec Terraform et les environnements conteneurisés Docker/Kubernetes.
Assurer la supervision, l’observabilité, la gestion des incidents et l’amélioration continue.

Garantir des pipelines data fiables, performants et industrialisés.
Contribuer à la modernisation et à l’évolution de l’architecture Lakehouse.
Mettre en place des contrôles automatisés de qualité et de validation des données.
Garantir la disponibilité et l’observabilité des traitements.
Documenter les architectures, pipelines et règles métier.
Veiller à la conformité des flux, notamment vis-à-vis du RGPD.

Minimum 8 ans d’expérience en Data Engineering.
Expertise indispensable : DBT, Iceberg, AWS, Python et Spark.
Maîtrise avancée des architectures Big Data et Lakehouse.
Très bonne maîtrise des services AWS : Glue, EMR, S3, etc.
Bonne connaissance de Terraform et Datadog.
Connaissance de Trino/Starburst appréciée.
Maîtrise de la modélisation Médaillon et des problématiques de qualité des données.
Expérience des environnements Airflow, Docker et Kubernetes.

Data Engineer Senior autonome et expérimenté sur des environnements data complexes.
Forte capacité d’analyse et bonne compréhension des enjeux métiers.
Rigueur, autonomie et sens de l’amélioration continue.
Capacité à intervenir sur des sujets d’architecture comme sur l’industrialisation opérationnelle.
Bonnes pratiques de documentation, qualité et conformité des données.