Mission freelance DATA ENGINEER (H/F)

Contexte de la mission

Au sein du pôle Data d’un grand groupe de distribution (Les Mousquetaires), le Data Engineer intervient pour concevoir, fiabiliser et industrialiser les pipelines de traitement et de valorisation de données massives. Dans un écosystème centré sur le Cloud Microsoft Azure et les technologies distribuées Databricks / Spark, il apporte son expertise technique pour développer des solutions de traitement performantes répondant aux différents cas d'usage métiers, tout en assurant l'interfaçage et la restitution analytique vers Power BI et le respect des normes de gouvernance de la donnée.

Missions principales & Rôle

• Concevoir et développer l'architecture technique et les flux d'ingestion/transformation nécessaires au traitement et à la valorisation des données (batch et streaming).
• Développer et optimiser les traitements de données massives en exploitant pleinement Spark (PySpark / Spark SQL) sous l'environnement Azure Databricks.
• Mettre en œuvre les règles de gestion, croisements complexes, contrôles qualité et nettoyages de données.
• Assurer la modélisation des données et préparer les couches sémantiques / jeux de données pour la restitution sous Power BI.
• Garantir la sécurité, le cycle de vie de la donnée et la traçabilité des flux en accord avec les exigences de la gouvernance Data et des Architectes d'Entreprise.
• Documenter et alimenter les catalogues de données et référentiels techniques du groupe.
• Participer activement aux phases de tests, d'industrialisation continue (CI/CD) et assurer le support opérationnel sur les pipelines en production.

Objectifs & Livrables

• Livrer les pipelines de données (code PySpark/SQL, jobs Databricks) optimisés, versionnés, testés et documentés.
• Fournir les modèles de données préparés et connectés aux rapports et tableaux de bord Power BI.
• Mettre à disposition la documentation technique d’architecture de flux, dictionnaires de données et règles de contrôle qualité.
• Garantir la conformité aux exigences de gouvernance, de performance et de sécurité des données du groupe.

Compétences requises

• Expertise impérative et démontrée sur l'écosystème Databricks et Apache Spark (niveau Expert - impératif).
• Maîtrise avancée des services Cloud Microsoft Azure Data : Azure Data Lake Storage (ADLS), Azure Data Factory (ADF), Key Vault, IAM (niveau Confirmé - impératif).
• Excellente maîtrise du développement en Python (PySpark, bibliothèques Data) et du requêtage SQL complexe.
• Compétences avérées en modélisation et restitution analytique sur Power BI (niveau Confirmé - impératif).
• Connaissance des principes de gouvernance, de catalogage et du cycle de vie de la donnée en environnement distribué.
• Maîtrise du français courant (impératif).

Profil recherché

• Data Engineer Confirmé / Senior (4 à 10 ans d'expérience).
• Profil polyvalent, résolument opérationnel (hands-on), doté d'une forte rigueur de code et d'un esprit d'optimisation des performances.
• Autonomie, capacités d'analyse et de synthèse pour appréhender rapidement des cas d'usage métiers variés.
• Excellent relationnel et sens du travail en équipe pour collaborer avec les architectes data, les data analysts et les interlocuteurs métiers.