Ce que vous saurez faire
Le déroulé, étape par étape
MODULE 1 : Préparation
1.1 Maîtriser le langage Python et son utilisation avancée pour les systèmes en production
1.2 Utiliser les commandes Bash et les principaux éléments utilisés dans les environnements UNIX
1.3 Utiliser Visual Studio Code en tant qu'environnement de développement intégré
1.4 Les bases du Cloud Computing et les concepts essentiels de virtualisation.
MODULE 2 : Stockage de données
2.1 Bases de données relationnelles : installation d'un serveur PostgreSQL et de pgAdmin 4
2.2 Bases orienté colonnes
a. Création d'un ensemble de données sous BigQuery
b. Exécution de requêtes SQL-like
c. Insertion de données BigQuery via Pandas
MODULE 3 : Calcul distribué
3.1 Patron d'architecture MapReduce
a. Étapes du MapReduce : de l'InputSplitter au Combiner
b. Implémentation d'algorithmes itératifs
3.2 Apache Hadoop et Spark
a. Gestion de ressources et YARN
b. Hadoop HDFS et Spark SQL
c. Cluster Spark sur DataProc : cycle de vie des clusters, exécution de tâches et monitoring
d. Drivers JDBC et BigQuery pour l'insertion de données
MODULE 4 : Stockage de données
4.1 Data Streaming avec Apache Kafka
a. Architecture publish-subscribe : consumers et producers, tolérance à la
faute, topics et replicas.
b. Installation d'un serveur Apache Kafka standalone sur une machine virtuelle.
4.2 Confluent Platform
a. Installation de Confluent Platform et utilisation de son API pour les appels à distance
b. Registre de schéma et validation de données par sérialisation Avro
c. Connecteurs Kafka vers BigQuery
MODULE 5 : Calcul distribué
5.1 Automatisation avec Airflow
a. DAG, Executors, cycle de vie des tâches et Xcom
b. Pipelines de données automatisées
c. Framework MLOps, entraînement continu de modèles et gestion de cycle de vie sous MLflow
5.2 Déploiement sur le Cloud
a. Encapsulation de modèles de Machine Learning dans une API REST
b. Conteneurisation de l'API dans une image Docker
c. Exécution de conteneurs sur des orchestrateurs Cloud
À la fin de la formation
Valider les compétences du bloc 3 RNCP37805BC03 "Développement avancé : Comprendre et utiliser une architecture de type framework (option 1)" de la certification RNCP37805 "Développeur Web" - Certificateur Webecom
Déposée au RNCP de France Compétences le : 19/07/2023
Selon l’organisme
- Formation opérationnelle, tournée vers la pratique sur de nombreux projets d'entreprises
- Plateforme donnant accès aux environnements de développement et accès Cloud
- Formation à l'état de l'art de la Data
Où se déroule la formation
Payer avec votre Compte Personnel de Formation
Cette formation figure au catalogue Mon Compte Formation : elle est éligible au CPF. Vos droits, cumulés en euros, se consultent et s’utilisent sur le site officiel.
Vérifier mes droits sur moncompteformation.gouv.frOrganisme, certification, inscription
Texte rédigé par l’organisme de formation. Source : « Moncompteformation – L’offre de formation », Caisse des Dépôts et DGEFP, données ouvertes sous Licence Ouverte 2.0, mise à jour du 15/10/2026. WorkDispo n’est pas affilié à Mon Compte Formation.
