Mission freelance
Architecte Databricks (H/F)

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Architecte Databricks (H/F) à Lyon, France.

Contexte :

Au sein du pôle, l’équipe transverse agit sur les deux départements en gérant et supervisant des projets communs, ici celui de la refonte des applications de BI.
Cette équipe en cours de construction est aujourd’hui constituée d’un chef de projet. Elle est accompagnée par diverses ressources du pôle, du département ou des équipes applicatives (managers, coordinateurs, référent techniques, pilote de système applicatifs…).
La mission du projet : Accompagner la migration et l’industrialisation d’une plateforme data cible autour de Databricks / Spark / Power BI​.

Les missions attendues par le Architecte Databricks (H/F) :

Activité principale

• Concevoir, développer et maintenir des pipelines data sous Databricks / Spark


• Développer les traitements en Python, PySpark et SQL


• Contribuer à la définition et à la mise en œuvre du modèle de données cible


• Industrialiser les pipelines : standards de développement, tests, CI/CD, déploiement


• Mettre en place des traitements robustes, maintenables et scalables


• Orchestrer les traitements via Databricks Workflows / Lakeflow Jobs


• Contribuer à la qualité, à l’observabilité et à la fiabilité des traitements


• Participer au run : suivi de production, analyse d’incidents, amélioration continue


• Prendre en compte les enjeux de performance et de maîtrise des coûts

Activité secondaire

• Participer au cadrage des besoins avec le Product Owner et les équipes utilisatrices


• Contribuer aux choix techniques liés à la nouvelle plateforme data


• Participer à la mise en place des pratiques de développement Databricks


• Contribuer à l’interfaçage avec Power BI ou à des processus intégrés Databricks / Power BI


• Participer à l’intégration de sources d’alimentation du datalake, Kafka apprécié


• Contribuer à la documentation technique et aux standards d’équipe


• Participer aux rituels agiles et à l’amélioration continue de la feature team

Stack technique de l’équipe

Obligatoires : Databricks, Spark, PySpark, Python, SQL
Obligatoires : Modélisation data, Delta Lake, Unity Catalog
Obligatoires : CI/CD, tests, industrialisation des pipelines
Demandées : Certification Databricks, cloud public, Terraform
Demandées : Databricks Workflows, observabilité
Appréciées : Kafka, Lakeflow / DLT, Power BI
Appréciées : Certification cloud

Description du profil

Nous recherchons un Lead Data Engineer / Expert Databricks pour accompagner la migration et l’industrialisation d’une nouvelle plateforme data.
Le profil interviendra sur la conception de pipelines Databricks / Spark, la structuration du modèle de données cible et la mise en place de standards de développement robustes, maintenables et industrialisés.
Le profil devra accompagner les équipes de développement pour assurer le respect des bonnes pratiques établies pendant la migration.
Une capacité à prendre du recul, à proposer des choix techniques structurants et à travailler avec des équipes Data, BI et métier est attendue. Une connaissance de Power BI est appréciée pour faciliter l’exposition des données vers les usages analytiques.

Compétences attendues sur le profil

• Expertise confirmée sur Databricks : Certification Databricks attendue


• Très bonne maîtrise de Spark / PySpark


• Très bonne maîtrise de Python et SQL


• Solide compétence en modélisation de données


• Bonne connaissance de Delta Lake et Unity Catalog


• Expérience en industrialisation de pipelines data : CI/CD, tests, déploiement


• Expérience sur des environnements cloud publics, sans cloud cible imposé


• Connaissance de Terraform pour les sujets Databricks / cloud


• Bonne pratique de Databricks Workflows


• Sensibilité à l’observabilité, à la qualité de service et à la maintenabilité


• Appétence pour les sujets de performance et de maîtrise des coûts


• Kafka apprécié pour l’ingestion de données vers le datalake


• Power BI apprécié pour les usages d’exposition et de consommation BI

• Certification cloud appréciée

Vous justifiez d’une expérience significative comme Architecte Databricks (H/F) ?
Vous êtes rigoureux, méthodique, organisé et vous savez faire preuve d’autonomie et de réactivité ?
Vous êtes à l’aise à l’écrit comme à l’oral ?
Vous maîtrisez les périmètres techniques cités avec les niveaux adéquats ?
Vous aimez évoluer dans un univers où l’autonomie, la prise d’initiatives, le partage et le travail en équipe sont porteurs de la réussite collective ?
Vous pensez que votre profil pourrait correspondre au besoin de notre client ?