Trancher un incident de fraude sur flux de paiements mobiles
Aperçu
En quoi consiste ce défi.
Corrigez le module Spark Streaming d'une plateforme de paiement mobile en analysant le watermark et la livraison, puis obtenez un certificat vérifiable.
Le brief
Ce que vous ferez, et ce que vous démontrerez.
L'incident vient-il du réglage de la tolérance aux événements en retard, de la perte de garantie exactement-une-fois lors du redémarrage, ou d'une combinaison des deux — et lesquels des correctifs proposés faut-il valider ?
Earning criteria — what you'll demonstrate
- Distinguer heure d'événement et heure de traitement, et raisonner sur les conséquences de ce décalage dans un traitement de flux
- Régler une marque temporelle de complétude (watermark) et des fenêtres de calcul en fonction d'une distribution réelle de retards, plutôt que par défaut
- Analyser les garanties de livraison (au-moins-une-fois, exactement-une-fois) et leur dépendance aux points de reprise et à l'idempotence des écritures
- Instrumenter un traitement de flux avec des indicateurs qui rendent un incident de ce type détectable avant qu'il n'atteigne les clients
- Rendre un verdict d'ingénierie sur des correctifs proposés par d'autres, en séparant preuve, hypothèse et opinion
Adéquation au programme
Où cela s'inscrit dans votre cursus.
Renforce les mêmes compétences que celles attendues par votre diplôme.
Cursus associés bientôt disponibles.
Compétences
Les compétences que vous démontrerez.
Chacune apparaît sur votre certificat vérifié.
Débouchés
Les métiers auxquels ce défi vous prépare.
De vrais intitulés. De vraies passerelles de compétences. Choisissez celui qui se rapproche le plus de votre trajectoire.
Les parcours de carrière que ce défi construit
Métiers de référenceIngénieur en Systèmes Distribués
Raisonner sur l'ordre des événements, les garanties de livraison et la reprise après redémarrage constitue le socle du métier. Le défi force à démontrer ces propriétés par le test plutôt qu'à les invoquer.
Ce défi renforce
- apache-spark
- stream-processing-windowing
- algorithm-analysis
Ingénieur en Fiabilité de Site
Le défi passe par une analyse post-incident complète, la définition d'indicateurs de supervision avec seuils justifiés et une communication vers les équipes non techniques — exactement le triptyque attendu en fiabilité de production.
Ce défi renforce
- application-monitoring
- 5-whys-fishbone
- apache-spark
Ingénieur de Plateforme
Corriger un module de traitement de flux partagé et le rendre rejouable et testable par d'autres équipes correspond au travail quotidien d'ingénierie de plateforme de données.
Ce défi renforce
- apache-spark
- stream-processing-windowing
- application-monitoring