Moteur de traçabilité parallèle pour la filière cacao en Côte d'Ivoire
Aperçu
En quoi consiste ce défi.
Vous traiterez 200 000 enregistrements cacao via un pipeline parallèle pour obtenir un certificat vérifiable.
Le brief
Ce que vous ferez, et ce que vous démontrerez.
Concevoir un pipeline de traitement par lots parallèle avec gestion transactionnelle des mises à jour concurrentes, capable de traiter 200 000 enregistrements de traçabilité cacao en moins de 30 minutes sur une machine multicœur.
Earning criteria — what you'll demonstrate
- Appliquer les principes de parallélisme de données (data parallelism) à un problème réel de traitement par lots avec dépendances entre étapes
- Implémenter un mécanisme de mémoire transactionnelle logicielle (STM) simplifié pour gérer les accès concurrents à une structure partagée
- Analyser les compromis entre granularité de parallélisme, surcoût de synchronisation et scalabilité sur une architecture multicœur
- Mesurer et interpréter les performances parallèles en identifiant la loi d'Amdahl (loi qui prédit l'accélération maximale d'un programme en fonction de sa fraction séquentielle) comme facteur limitant
Adéquation au programme
Où cela s'inscrit dans votre cursus.
Renforce les mêmes compétences que celles attendues par votre diplôme.
Cursus associés bientôt disponibles.
Compétences
Les compétences que vous démontrerez.
Chacune apparaît sur votre certificat vérifié.
Débouchés
Les métiers auxquels ce défi vous prépare.
De vrais intitulés. De vraies passerelles de compétences. Choisissez celui qui se rapproche le plus de votre trajectoire.
Les parcours de carrière que ce défi construit
Métiers de référenceIngénieur de Données
La conception de pipelines de traitement par lots parallèles avec partitionnement de données et gestion de la concurrence est le cœur du métier d'ingénieur de données, qui construit les infrastructures de traitement à grande échelle pour les organisations.
Ce défi renforce
- apache-spark
- parallel-performance-engineering
- algorithm-analysis
Ingénieur de Plateforme
L'optimisation de la performance et de la scalabilité d'un pipeline critique sous contrainte de temps prépare au rôle d'ingénieur de plateforme, qui doit garantir que les systèmes de traitement respectent les accords de niveau de service (SLA) en production.
Ce défi renforce
- parallel-performance-engineering
- application-monitoring
- apache-spark
Ingénieur en Systèmes Distribués
La gestion transactionnelle des accès concurrents et l'analyse des compromis de synchronisation développent les compétences fondamentales d'un ingénieur en systèmes distribués confronté aux problèmes de cohérence et de coordination entre nœuds.
Ce défi renforce
- transactional-memory
- algorithm-analysis
- application-monitoring