Arbitrer le stockage colonnaire d'un lac de données portuaire
Aperçu
En quoi consiste ce défi.
Comparez stockage ligne vs colonnaire Parquet, estimez volume scanné et coût, puis rédigez une note chiffrée. Obtenez un certificat vérifiable.
Le scénario
Un opérateur de terminal à conteneurs de la zone portuaire de Tanger Med, environ 900 salariés, facture ses services d'escale à une douzaine d'armateurs et s'engage contractuellement sur un rapport de productivité des quais disponible chaque matin à 6 h. Depuis la migration de ses traitements de nuit vers un lac de données sur stockage objet, ce rapport est livré en retard plusieurs jours par semaine, ce qui déclenche des pénalités contractuelles.
Le brief
Ce que vous ferez, et ce que vous démontrerez.
Le retard et le surcoût du traitement de nuit viennent-ils du moteur de calcul distribué, du format de fichier et du découpage en partitions, ou des deux — et quelle décision de stockage faut-il prendre maintenant ?
Earning criteria — what you'll demonstrate
- Relier la disposition physique des fichiers sur un système de fichiers distribué (taille, nombre, partitionnement) aux temps d'exécution observés d'un traitement distribué
- Quantifier le gain d'un stockage colonnaire (lecture sélective de colonnes, élagage de partitions, compression) plutôt que de l'invoquer comme principe
- Diagnostiquer le problème des petits fichiers et ses effets sur la planification des tâches dans Apache Spark
- Formuler une décision d'architecture de données défendable, avec ses conditions d'invalidation, à destination d'une direction non technique
Adéquation au programme
Où cela s'inscrit dans votre cursus.
Renforce les mêmes compétences que celles attendues par votre diplôme.
Cursus associés bientôt disponibles.
Compétences
Les compétences que vous démontrerez.
Chacune apparaît sur votre certificat vérifié.
- Apache Spark
Apply apache spark to solve real industry problems and demonstrate production-level capability.
- Analytical Reasoning
Apply analytical reasoning to solve real industry problems and demonstrate production-level capability.
- Architecture Decision Records Adrs
Apply architecture decision records adrs to solve real industry problems and demonstrate production-level capability.
- Columnar Storage Parquet
Apply columnar storage parquet to solve real industry problems and demonstrate production-level capability.
- Distributed File Systems
Apply distributed file systems to solve real industry problems and demonstrate production-level capability.
- 6 Pager Writing
Apply 6 pager writing to solve real industry problems and demonstrate production-level capability.
Débouchés
Les métiers auxquels ce défi vous prépare.
De vrais intitulés. De vraies passerelles de compétences. Choisissez celui qui se rapproche le plus de votre trajectoire.
Les parcours de carrière que ce défi construit
Métiers de référenceIngénieur de Données
Ce défi fait manipuler les compromis quotidiens d'un ingénieur de données : format de fichier, taille des partitions, coût de lecture et durée des traitements de nuit. La capacité à mesurer avant de réécrire est exactement ce qu'on attend en poste.
Ce défi renforce
- apache-spark
- columnar-storage-parquet
- distributed-file-systems
Analyste des Coûts Cloud
Le défi impose de traduire des choix techniques de stockage en euros scannés et stockés, puis de défendre l'arbitrage devant une direction. C'est le cœur du métier d'analyse des coûts d'infrastructure infonuagique.
Ce défi renforce
- analytical-reasoning
- columnar-storage-parquet
- 6-pager-writing
Ingénieur en Systèmes Distribués
Diagnostiquer un traitement distribué à partir de la disposition physique des données sur un système de fichiers distribué prépare directement au travail d'optimisation et de dimensionnement des systèmes répartis.
Ce défi renforce
- distributed-file-systems
- apache-spark
- analytical-reasoning