Description de la mission
4. Description de la prestation et des missions attendues
Le/La Data Engineer sera intégré(e) à l'équipe produit TOPASE NLS et interviendra sur les missions suivantes :
🔹 Conception, développement et optimisation des pipelines de données (GCP)
- Concevoir, développer et maintenir des pipelines robustes et performants pour la collecte, la transformation et le chargement des données depuis diverses sources (Oracle, fichiers, API, etc.) vers BigQuery et autres cibles.
- Exploiter et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) afin de construire des architectures data scalables et fiables.
- Automatiser les traitements, gérer les dépendances et orchestrer les jobs de données.
- Optimiser les performances des pipelines ainsi que la consommation des ressources GCP.
🔹 Modélisation et gestion des données
- Participer à la conception et à l'évolution des modèles de données dans BigQuery, en lien avec les Data Analysts et les équipes métiers.
- Garantir la qualité, la cohérence et l'intégrité des données.
- Mettre en œuvre des stratégies de versioning des schémas et de gestion du cycle de vie des données.
🔹 Run opérationnel, maintenance et support N2/N3
- Assurer le support opérationnel de niveau 2/3 de la solution TOPASE (environnement GCP + solution éditeur).
- Développer et maintenir des scripts Bash pour automatiser les tâches récurrentes (supervision, traitement de données, maintenance).
- Rédiger, optimiser et exécuter des requêtes SQL complexes (BigQuery et Oracle) pour l'analyse, le diagnostic d'incidents et la restitution de données.
- Gérer les incidents en collaboration avec les équipes internes et l'éditeur.
- Participer à la qualification des livraisons de patchs éditeur impactant les flux de données.
- Suivre les incidents via le CRM éditeur et contribuer aux comités de suivi.
🔹 Monitoring, logging et alerting
- Mettre en place et maintenir des dispositifs de supervision des flux de données, de la qualité, des performances et de l'utilisation des ressources (Stackdriver, Grafana, Looker Studio).
- Définir et implémenter des alertes permettant la détection proactive des anomalies.
- Concevoir des tableaux de bord pour le suivi des KPI opérationnels et métier.
🔹 Infrastructure as Code (IaC)
- Contribuer à la définition et à l'implémentation de l'infrastructure data via Terraform.
- Garantir la reproductibilité et la traçabilité des environnements (Dev, Recette, Pré-prod, Prod).
🔹 Collaboration et conseil
- Travailler en étroite collaboration avec les équipes Data (Data Scientists, Data Analysts), les Product Owners et les métiers.
- Proposer des solutions techniques adaptées et conseiller sur les bonnes pratiques en Data Engineering.
- Participer aux rituels Agile/Kanban de l'équipe produit.
5. Compétences et expériences requises
5.1 Expertise technique
- Cloud GCP : Expertise confirmée des services data (BigQuery, Dataflow, Cloud Storage, Pub/Sub, Composer/Airflow, Stackdriver, Data Catalog).
- Bases de données : Maîtrise avancée SQL (optimisation, requêtes complexes), expérience sur BigQuery et Oracle 19 (MySQL/PostgreSQL appréciés).
- Scripting : Excellente maîtrise de Bash (indispensable pour le run).
- Systèmes : Bonne maîtrise des environnements Linux (RedHat).
- IaC : Solide expérience avec Terraform.
- CI/CD : Maîtrise d'un outil comme GitLab CI.
- Monitoring/Logging : Stackdriver, Grafana, ELK, Looker Studio.
- Versioning : Git (GitLab).
- Réseaux : Connaissances solides (TCP/IP, HTTP/S, DNS, load balancing, firewall).
- Data Engineering : Maîtrise des concepts ETL/ELT, Data Warehouse, Data Lake et streaming.
5.2 Environnement technique TOPASE NLS
- OS : RedHat Enterprise 9.4
- Cloud : Azure (solution éditeur) & GCP (data, monitoring, pipelines)
- CI/CD : GitLab CI
- IaC : Terraform
- Monitoring : Looker Studio, GANTI, Grafana, ELK
- Bases : Oracle, BigQuery
- Langage : Bash
5.3 Méthodologies et soft skills
- Expérience en environnement Agile (Scrum, Kanban).
- Excellentes capacités d'analyse et de résolution de problèmes, notamment en situation d'incident.
- Autonomie, proactivité et sens de l'amélioration continue.
- Bonnes compétences de communication (français courant, anglais technique).
- Esprit d'équipe et partage des connaissances.
- Sens des responsabilités, notamment en environnement de production.
5.4 Expérience
- Minimum 3 ans d'expérience en tant que Data Engineer, idéalement sur GCP.
- Expérience sur des environnements à forte volumétrie, avec des enjeux de performance, fiabilité et disponibilité.
