Parcours certifiant
Data Engineering
Derrière chaque tableau de bord qui s'actualise tout seul et chaque modèle qui reçoit des données fraîches chaque matin, il y a un ingénieur des données. C'est le métier le moins visible de la chaîne et pourtant celui sans lequel rien ne fonctionne durablement.
- Durée
- 5 semaines, 10 séances, 50 heures
- Modalité
- Présentiel ou en ligne
- Validation
- Certificat de formation
Investissement195 000 FCFA
À l'issue de la formation, vous saurez
- Concevoir l'architecture de données d'une organisation, des sources à la restitution
- Travailler en ligne de commande sous Linux et versionner son travail avec Git
- Écrire du SQL d'ingénieur : fenêtrage, index, lecture de plans d'exécution, vues matérialisées
- Modéliser un entrepôt de données en étoile et gérer l'historisation des dimensions
- Construire des chaînes de transformation ETL et ELT robustes et rejouables
- Extraire des données d'une interface de programmation, les valider et les charger dans un entrepôt
- Orchestrer des traitements planifiés avec Airflow, avec dépendances et reprise sur erreur
- Mettre en place des contrôles de qualité automatiques et des alertes
- Déployer une chaîne de données dans le nuage, à coût maîtrisé, avec Docker Compose
- Livrer une plateforme complète, testée, orchestrée et surveillée
À qui s'adresse la formation
Public cible
La certification s'adresse aux profils techniques qui veulent construire l'infrastructure plutôt que de la consommer : développeurs, administrateurs de bases de données, informaticiens, analystes de données souhaitant évoluer, diplômés en informatique ou en génie logiciel, gestionnaires de systèmes d'information.
Prérequis
Quatre conditions sont nécessaires :
- Justifier d'un niveau BAC+3 au minimum en informatique, statistique, mathématiques ou ingénierie, ou d'une expérience professionnelle équivalente
- Maîtriser SQL au niveau des jointures et des agrégations, le certificat de Data Analyst ou la formation SQL de Waaldé Impact satisfont ce prérequis
- Maîtriser les bases de Python : structures de données, fonctions, gestion de fichiers et d'erreurs
- Disposer d'un ordinateur portable avec 8 Go de mémoire vive au minimum, 16 Go de préférence, et 50 Go d'espace disque disponible
Un entretien technique de quinze minutes est organisé avant toute inscription. C'est le parcours le plus technique du catalogue : un candidat qui ne code pas du tout n'y trouvera pas sa place et sera orienté vers le certificat de Data Analyst.
Méthode pédagogique
La certification se déroule sur cinq semaines, à raison de deux séances par semaine, le samedi et le dimanche de 8 h 30 à 13 h 30 : dix séances de cinq heures, soit 50 heures encadrées. Le travail personnel attendu est de deux à trois heures par semaine, et de trois à quatre heures pendant la semaine de projet.
Le format est celui de la classe inversée. Les notions sont vues à l'avance, dans des capsules vidéo préenregistrées remises à chaque participant et à suivre à distance quand il le souhaite, une à deux heures avant chaque séance. La séance, elle, est entièrement consacrée à la pratique : on construit, on casse, on répare. Chaque séance comporte en outre une rubrique « pour aller plus loin » traitée dans les supports.
Les séances se suivent en présentiel à Ouagadougou ou en ligne en direct, au choix du participant et sans différence de tarif. La cohorte est limitée à douze participants pour ce parcours, l'encadrement technique individuel étant particulièrement exigeant. Un entretien technique de quinze minutes précède toute inscription.
Chaque participant repart avec :
- Le support de cours complet au format PDF, module par module
- Les capsules vidéo préenregistrées de chaque module
- Un dépôt de code de référence contenant toutes les chaînes construites en séance
- Un projet type prêt à cloner : Docker Compose, Airflow, dbt, entrepôt, tests, surveillance
- Des modèles de graphes Airflow et de projets dbt réutilisables
- Un aide-mémoire SQL d'optimisation, Linux et Git
- Une grille de conception d'architecture et une grille d'estimation de coûts
- Une procédure d'exploitation type et une liste de contrôle avant mise en production
- Un guide de préparation aux entretiens techniques d'ingénieur
Tous les outils enseignés sont libres et gratuits, et les exercices sont conçus pour rester dans les offres gratuites des fournisseurs de nuage.
Programme détaillé
10 séances · 50 h d'encadrement
Semaine 1 — Le métier, l'environnement et le SQL d'ingénieur
2 séances · 10 h- Tracer sur papier l'architecture cible d'une structure partenaire et la défendre devant le groupe
- Naviguer, gérer les droits et enchaîner commandes et redirections sous Linux
- Programmer une tâche avec cron et sortir un secret du code pour le placer dans une variable d'environnement
- Créer un dépôt Git, travailler sur des branches et résoudre un conflit de fusion
- Publier le projet sur GitHub et le faire relire dans une demande de fusion
- Application : mettre en place son poste de travail complet et publier un premier projet versionné
- Pour aller plus loin, dans les supports : entrepôt, lac de données et architecture hybride ; traitement par lots et traitement en flux continu ; grep, cut, sort et awk ; environnements virtuels Python
- À distance, avant la séance (environ 1 h 15) : capsules sur les fonctions de fenêtrage, les index et leur coût, la lecture d'un plan d'exécution, les vues matérialisées
- Calculer un rang, un décalage et un cumul sur une table de transactions avec des fonctions de fenêtrage
- Créer des tables avec clés et contraintes, puis mesurer l'effet d'un index sur une lecture et sur une écriture
- Lire le plan d'exécution de cinq requêtes lentes et nommer la cause de chaque lenteur
- Créer une vue matérialisée pour une requête récurrente et mesurer le gain
- Application : diviser par dix le temps de réponse de cinq requêtes sur une base fournie
- Pour aller plus loin, dans les supports : les types de données et leur effet sur le volume ; les transactions et la cohérence ; le partitionnement d'une grande table ; sauvegarde, restauration et droits des utilisateurs ; procédures stockées et fonctions
Semaine 2 — Modélisation d'entrepôt et transformation
2 séances · 10 h- Définir le grain de la table de faits d'un système de suivi de projet, puis en déduire les dimensions
- Construire la dimension de dates et organiser l'entrepôt en trois couches : brut, intermédiaire, exposé
- Écrire une transformation SQL qu'on peut rejouer sans créer de doublon
- Historiser une dimension à évolution lente et vérifier le résultat après une modification de la source
- Application : modéliser et charger l'entrepôt complet d'un système de suivi de projet
- Pour aller plus loin, dans les supports : la normalisation et ses formes, et pourquoi on la relâche en analytique ; le modèle en flocon ; faits additifs, semi-additifs et non additifs ; clés de substitution ; capture des modifications et suppressions à la source
- Interroger une interface de programmation avec authentification et parcourir toutes les pages de résultats
- Gérer les erreurs réseau avec des tentatives espacées et des délais d'attente
- Valider chaque donnée entrante et mettre de côté les lignes rejetées, avec la raison du rejet
- Écrire des tests automatiques sur la chaîne et les lancer avant chaque chargement
- Application : construire une chaîne d'ingestion complète, de l'interface de programmation jusqu'à l'entrepôt
- Pour aller plus loin, dans les supports : extraire des données d'une page web quand aucune interface n'existe, et les limites légales ; journaliser correctement, niveaux, format et destination ; lire et écrire de gros fichiers, dont le format Parquet
Semaine 3 — Orchestration et qualité
2 séances · 10 h- Installer Airflow en local et ouvrir son interface de supervision
- Écrire un graphe de trois tâches avec dépendances et planification quotidienne
- Configurer les tentatives, les délais et une notification en cas d'échec
- Diagnostiquer une exécution ratée à partir de l'interface et des journaux
- Application : orchestrer une chaîne complète à trois étapes, avec dépendances et alertes
- Pour aller plus loin, dans les supports : les opérateurs pour Python, SQL et shell ; le passage de données entre tâches ; le rattrapage détaillé des périodes manquées ; Prefect et Dagster, et les cas où ils conviennent mieux
- Écrire des contrôles explicites sur une table : unicité, non-nullité, valeurs acceptées, fraîcheur
- Décider pour chaque contrôle s'il bloque la chaîne ou s'il alerte seulement
- Journaliser les exécutions et construire un tableau de bord de durée, de volume et de taux d'échec avec un outil libre
- Provoquer deux pannes sur sa propre chaîne, puis les détecter et les réparer
- Application : instrumenter sa chaîne avec des contrôles automatiques et une alerte de retard
- Pour aller plus loin, dans les supports : Great Expectations et les tests intégrés à dbt ; contrôles d'intégrité référentielle ; contrat de données entre producteur et consommateur ; procédure d'exploitation et liste de contrôle avant mise en production ; pseudonymisation et durée de conservation
Semaine 4 — Entrepôts modernes et transformation avec dbt
2 séances · 10 h- Charger un jeu de données volumineux dans DuckDB en local, puis le comparer à une table partitionnée dans BigQuery
- Optimiser une requête analytique par le partitionnement, le groupement et le choix des colonnes, puis comparer le coût de lecture
- Initialiser un projet dbt, créer des modèles et les relier entre eux
- Déclarer les sources, ajouter des tests génériques et générer la documentation
- Application : reconstruire l'entrepôt de la semaine 2 avec dbt, avec tests et documentation
- Pour aller plus loin, dans les supports : le format Parquet et le stockage objet comme couche brute ; les macros et la factorisation du code répétitif ; les instantanés pour l'historisation automatique ; les environnements de développement et de production
- Créer une machine virtuelle dans l'offre gratuite d'un fournisseur de nuage et y déployer une chaîne
- Estimer le coût mensuel d'une plateforme et repérer les postes qui dérivent le plus souvent
- Déployer Airflow, une base et un entrepôt ensemble avec Docker Compose
- Application : cadrer son projet — cas, sources, couches, contrôles et coût — puis soumettre le document d'architecture à validation
- Pour aller plus loin, dans les supports : les fonctions sans serveur pour les traitements déclenchés par événement ; les bases gérées et l'arbitrage entre gérer soi-même et payer un service ; les offres gratuites pour une structure au budget contraint ; l'infrastructure décrite par le code
Semaine 5 — Le projet de plateforme, soutenance et certificats
2 séances · 10 h- Mettre en place l'ingestion depuis les sources du projet et les transformations dbt avec tests
- Orchestrer les traitements sous Airflow, avec dépendances et alertes
- Brancher la surveillance et le tableau de bord de qualité
- Versionner le projet, le documenter et le tester à chaque modification
- Application : faire tourner la plateforme de bout en bout après un passage individuel avec le formateur ou la formatrice
- Pour aller plus loin, dans les supports : branchement d'un outil de restitution sur la couche exposée ; revue de code croisée entre participants ; modèles de procédure d'exploitation
- Présenter sa plateforme en dix minutes : architecture, choix techniques, coûts et limites
- Répondre pendant cinq minutes aux questions du groupe et du formateur ou de la formatrice
- Déclencher la chaîne en direct, provoquer une panne et montrer l'alerte pendant la présentation
- Publier le projet et constituer son portfolio technique
- Application : soutenir sa plateforme devant le groupe, puis recevoir son certificat
- Pour aller plus loin, dans les supports : les certifications éditeur qui complètent ce parcours ; le guide de préparation aux entretiens techniques d'ingénieur
Évaluation et certification
Le certificat de Data Engineer s'obtient sur une moyenne d'admission calculée sur 20, qui réunit trois éléments :
- L'épreuve de certification, 50 % : 25 questions tirées au sort dans une banque de plus de quatre-vingts, en 90 minutes. Deux tentatives sont possibles, à sept jours d'intervalle, et la meilleure est retenue.
- Le projet de plateforme, 30 % : soutenu lors de la dixième séance.
- La présence aux séances, 20 % : relevée séance par séance. Une absence annoncée au moins trois jours à l'avance compte pour moitié, une absence non annoncée ne compte pas.
La moyenne d'admission est de 12 sur 20. Une note inférieure à 8 sur 20 à l'épreuve est éliminatoire : ni le projet ni l'assiduité ne la rachètent. Dès que la moyenne est atteinte, le certificat est émis automatiquement et devient disponible dans l'espace du participant.
Le certificat est délivré par Waaldé Impact, signé par le formateur ou la formatrice, et mentionne l'intitulé de la formation, le volume horaire de 50 heures, la période, la liste des modules suivis et le sujet du projet de plateforme présenté. Chaque certificat porte un numéro unique et un code de vérification.
Les participants qui n'atteignent pas la moyenne reçoivent une attestation de participation. Ils peuvent repasser l'épreuve et présenter leur projet de plateforme avec la cohorte suivante, sans frais supplémentaires.
Prochaines sessions
Prochaines dates en préparation
Laissez votre email : nous vous prévenons dès l'ouverture des inscriptions.
Questions fréquentes
195 000 FCFA par participant. Pour former une équipe ou une organisation, le tarif est établi sur devis.
5 semaines, 10 séances, 50 heures.
Oui : vous pouvez la suivre en présentiel ou en ligne, selon votre choix.
Quatre conditions sont nécessaires : justifier d'un niveau BAC+3 au minimum en informatique, statistique, mathématiques ou ingénierie, ou d'une expérience professionnelle équivalente ; maîtriser SQL au niveau des jointures et des agrégations, le certificat de Data Analyst ou la formation SQL de Waaldé Impact satisfont ce prérequis ; maîtriser les bases de Python : structures de données, fonctions, gestion de fichiers et d'erreurs ; disposer d'un ordinateur portable avec 8 Go de mémoire vive au minimum, 16 Go de préférence, et 50 Go d'espace disque disponible ; un entretien technique de quinze minutes est organisé avant toute inscription. C'est le parcours le plus technique du catalogue : un…
Oui : les participants qui remplissent les conditions de validation reçoivent un certificat Waaldé Impact portant un numéro unique, vérifiable en ligne par un employeur.
Remplissez la demande d'inscription en ligne : aucun paiement n'est demandé sur le site. Le cabinet examine votre dossier, puis vous contacte pour confirmer votre place et les modalités de paiement. Aucune session n'est programmée pour le moment : laissez votre email sur cette page pour être prévenu de l'ouverture des inscriptions.
Rejoindre la prochaine cohorte
Les cohortes sont volontairement limitées pour garantir un suivi individuel réel. Réservez votre place ou posez-nous vos questions.