Aperçu
En quoi consiste ce défi.
Écrivez un traitement MapReduce qui nettoie des relevés CSV d'un parc éolien et calcule des indicateurs mensuels. Obtenez un certificat vérifiable.
Le brief
Ce que vous ferez, et ce que vous démontrerez.
Comment transformer des mois de relevés bruts de capteurs en indicateurs de production fiables par turbine, avec un traitement qui reste valable quand le volume de données décuple ?
Earning criteria — what you'll demonstrate
- Décomposer un calcul d'agrégation en une phase « map » et une phase « reduce », conformément au modèle MapReduce étudié en cours
- Traiter un jeu de données en flux, sans le charger intégralement en mémoire, et expliquer pourquoi ce choix conditionne le passage à l'échelle
- Appliquer des règles de qualité de données (valeurs aberrantes, relevés manquants, capteurs bloqués) avant tout calcul d'indicateur
- Estimer ce que deviendrait ce traitement s'il tournait sur un cluster de plusieurs machines dans le nuage informatique (cloud computing)
Adéquation au programme
Où cela s'inscrit dans votre cursus.
Renforce les mêmes compétences que celles attendues par votre diplôme.
Cursus associés bientôt disponibles.
Compétences
Les compétences que vous démontrerez.
Chacune apparaît sur votre certificat vérifié.
Débouchés
Les métiers auxquels ce défi vous prépare.
De vrais intitulés. De vraies passerelles de compétences. Choisissez celui qui se rapproche le plus de votre trajectoire.
Les parcours de carrière que ce défi construit
Métiers de référenceIngénieur Données
Vous manipulez la matière première du métier : des relevés bruts, sales et volumineux, que vous transformez en table d'indicateurs fiable. Écrire un traitement en flux, documenter ses règles de nettoyage et le rendre relançable est exactement le quotidien d'un ingénieur données débutant.
Ce défi renforce
- mapreduce
- distributed-data-processing
- cloud-computing
Analyste de Données
Le défi ne s'arrête pas au code : il faut conclure. Calculer un facteur de charge, comparer des turbines entre elles et défendre par écrit un diagnostic chiffré devant une équipe d'exploitation correspond au cœur du travail d'analyste de données.
Ce défi renforce
- mapreduce
- distributed-data-processing
- systems-design-fundamentals
Ingénieur Systèmes Distribués
Contraindre son code à ne jamais tout charger en mémoire, puis raisonner sur son exécution répartie sur plusieurs machines, forme le réflexe fondateur des systèmes distribués : penser en partitions plutôt qu'en fichier unique.
Ce défi renforce
- distributed-data-processing
- mapreduce
- cloud-computing