Mission freelance
Senior Cloud Data Platform Engineer (H/F)

🚀 Contexte de mission

Dans le cadre du renforcement d'une équipe Data Platform, nous recherchons un Senior Cloud Data Platform Engineer pour contribuer à la conception, au développement et à l'évolution d'une plateforme de données cloud basée sur AWS.

La mission s'inscrit dans une stratégie de Data Mesh, avec la mise à disposition de services et de composants réutilisables permettant aux équipes Data Engineering de développer leurs produits de données de manière autonome. Le consultant participera également à la migration de nombreux pipelines de données historiques vers une plateforme cloud moderne et industrialisée.

🎯 Missions principales et rôle

• Concevoir et développer des composants Infrastructure as Code (IaC) réutilisables en AWS CDK (Python).
• Définir et industrialiser des blueprints permettant le déploiement rapide de nouveaux projets Data Engineering.
• Concevoir des architectures cloud robustes, évolutives et sécurisées pour les plateformes de données.
• Maintenir et faire évoluer la plateforme AWS existante selon les besoins des équipes Data.
• Accompagner les Data Engineers dans l'utilisation de la plateforme et des composants mis à disposition.
• Participer à la migration de pipelines de données On-Premise vers AWS.
• Automatiser les déploiements, les processus d'exploitation et les tâches récurrentes.
• Contribuer à l'amélioration continue de la qualité logicielle (Software Craftsmanship, SonarQube, Ruff, bonnes pratiques Python).
• Participer aux cérémonies Agile (Scrum) et collaborer avec les architectes, DevOps et équipes Data.

🎯 Objectifs

• Développer une plateforme Data Cloud scalable et industrialisée.
• Standardiser le provisioning des infrastructures grâce à des composants IaC réutilisables.
• Faciliter le développement des Data Products dans une architecture Data Mesh.
• Accélérer la migration des pipelines de données historiques vers AWS.
• Automatiser les processus afin d'améliorer la productivité des équipes Data Engineering.
• Garantir la fiabilité, la maintenabilité et la qualité des composants de la plateforme.

🛠️ Compétences requises

Compétences techniques indispensables

• Expertise AWS (S3, Glue, Athena, Lambda, EMR, Lake Formation, CloudWatch, Fargate).
• Maîtrise d'AWS CDK (Python) pour l'Infrastructure as Code.
• Très bon niveau en développement Python.
• Connaissance des bonnes pratiques de Software Craftsmanship.
• CI/CD (Jenkins ou équivalent).
• Infrastructure as Code.
• Apache Airflow.
• Apache Iceberg.
• Parquet.
• AWS CloudFormation.
• SonarQube.
• Ruff.

Compétences appréciées

• PySpark.
• Pandas.
• Docker.
• Anaconda.
• Terraform.
• Expérience sur des architectures Data Mesh.
• Automatisation via IA / LLM.
• Migration de plateformes Data On-Premise vers le Cloud.

👤 Profil recherché

• Formation Bac+5 (École d'ingénieur ou équivalent).
• Minimum 8 ans d'expérience en Platform Engineering, Cloud Engineering ou Data Platform.
• Forte expertise dans la conception et l'industrialisation de plateformes AWS.
• Expérience confirmée dans le développement d'infrastructures cloud en Infrastructure as Code.
• Bonne compréhension des problématiques Data Engineering et Data Platform.
• Expérience des environnements Agile / Scrum.
• Excellent niveau d'autonomie, esprit d'équipe et sens du service.
• Anglais professionnel indispensable.