Trancher un incident de fraude sur flux de paiements mobiles
Aperçu
En quoi consiste ce défi.
Corrigez le module Spark Streaming d'une plateforme de paiement mobile en analysant le watermark et la livraison, puis obtenez un certificat vérifiable.
Le scénario
Un opérateur de transfert d'argent par téléphone mobile installé à Dakar, actif dans plusieurs pays de l'Union Économique et Monétaire Ouest-Africaine (UEMOA), traite des pics de plusieurs milliers de transactions par seconde lors des périodes de fête, avec un réseau d'agents dont la connectivité irrégulière fait remonter les événements avec des retards de plusieurs minutes. Un blocage à tort de clients légitimes coûte immédiatement des retraits d'argent chez le concurrent et des réclamations en agence.
Le brief
Ce que vous ferez, et ce que vous démontrerez.
L'incident vient-il du réglage de la tolérance aux événements en retard, de la perte de garantie exactement-une-fois lors du redémarrage, ou d'une combinaison des deux — et lesquels des correctifs proposés faut-il valider ?
Earning criteria — what you'll demonstrate
- Distinguer heure d'événement et heure de traitement, et raisonner sur les conséquences de ce décalage dans un traitement de flux
- Régler une marque temporelle de complétude (watermark) et des fenêtres de calcul en fonction d'une distribution réelle de retards, plutôt que par défaut
- Analyser les garanties de livraison (au-moins-une-fois, exactement-une-fois) et leur dépendance aux points de reprise et à l'idempotence des écritures
- Instrumenter un traitement de flux avec des indicateurs qui rendent un incident de ce type détectable avant qu'il n'atteigne les clients
- Rendre un verdict d'ingénierie sur des correctifs proposés par d'autres, en séparant preuve, hypothèse et opinion
Adéquation au programme
Où cela s'inscrit dans votre cursus.
Renforce les mêmes compétences que celles attendues par votre diplôme.
Cursus associés bientôt disponibles.
Compétences
Les compétences que vous démontrerez.
Chacune apparaît sur votre certificat vérifié.
- Apache Spark
Apply apache spark to solve real industry problems and demonstrate production-level capability.
- Stream Processing Windowing
Apply stream processing windowing to solve real industry problems and demonstrate production-level capability.
- Application Monitoring
Apply application monitoring to solve real industry problems and demonstrate production-level capability.
- 5 Whys Fishbone
Apply 5 whys fishbone to solve real industry problems and demonstrate production-level capability.
- Algorithm Analysis
Apply algorithm analysis to solve real industry problems and demonstrate production-level capability.
Débouchés
Les métiers auxquels ce défi vous prépare.
De vrais intitulés. De vraies passerelles de compétences. Choisissez celui qui se rapproche le plus de votre trajectoire.
Les parcours de carrière que ce défi construit
Métiers de référenceIngénieur en Systèmes Distribués
Raisonner sur l'ordre des événements, les garanties de livraison et la reprise après redémarrage constitue le socle du métier. Le défi force à démontrer ces propriétés par le test plutôt qu'à les invoquer.
Ce défi renforce
- apache-spark
- stream-processing-windowing
- algorithm-analysis
Ingénieur en Fiabilité de Site
Le défi passe par une analyse post-incident complète, la définition d'indicateurs de supervision avec seuils justifiés et une communication vers les équipes non techniques — exactement le triptyque attendu en fiabilité de production.
Ce défi renforce
- application-monitoring
- 5-whys-fishbone
- apache-spark
Ingénieur de Plateforme
Corriger un module de traitement de flux partagé et le rendre rejouable et testable par d'autres équipes correspond au travail quotidien d'ingénierie de plateforme de données.
Ce défi renforce
- apache-spark
- stream-processing-windowing
- application-monitoring