Arbitrer le stockage colonnaire d'un lac de données portuaire
Aperçu
En quoi consiste ce défi.
Comparez stockage ligne vs colonnaire Parquet, estimez volume scanné et coût, puis rédigez une note chiffrée. Obtenez un certificat vérifiable.
Le brief
Ce que vous ferez, et ce que vous démontrerez.
Le retard et le surcoût du traitement de nuit viennent-ils du moteur de calcul distribué, du format de fichier et du découpage en partitions, ou des deux — et quelle décision de stockage faut-il prendre maintenant ?
Earning criteria — what you'll demonstrate
- Relier la disposition physique des fichiers sur un système de fichiers distribué (taille, nombre, partitionnement) aux temps d'exécution observés d'un traitement distribué
- Quantifier le gain d'un stockage colonnaire (lecture sélective de colonnes, élagage de partitions, compression) plutôt que de l'invoquer comme principe
- Diagnostiquer le problème des petits fichiers et ses effets sur la planification des tâches dans Apache Spark
- Formuler une décision d'architecture de données défendable, avec ses conditions d'invalidation, à destination d'une direction non technique
Adéquation au programme
Où cela s'inscrit dans votre cursus.
Renforce les mêmes compétences que celles attendues par votre diplôme.
Cursus associés bientôt disponibles.
Compétences
Les compétences que vous démontrerez.
Chacune apparaît sur votre certificat vérifié.
Débouchés
Les métiers auxquels ce défi vous prépare.
De vrais intitulés. De vraies passerelles de compétences. Choisissez celui qui se rapproche le plus de votre trajectoire.
Les parcours de carrière que ce défi construit
Métiers de référenceIngénieur de Données
Ce défi fait manipuler les compromis quotidiens d'un ingénieur de données : format de fichier, taille des partitions, coût de lecture et durée des traitements de nuit. La capacité à mesurer avant de réécrire est exactement ce qu'on attend en poste.
Ce défi renforce
- apache-spark
- columnar-storage-parquet
- distributed-file-systems
Analyste des Coûts Cloud
Le défi impose de traduire des choix techniques de stockage en euros scannés et stockés, puis de défendre l'arbitrage devant une direction. C'est le cœur du métier d'analyse des coûts d'infrastructure infonuagique.
Ce défi renforce
- analytical-reasoning
- columnar-storage-parquet
- 6-pager-writing
Ingénieur en Systèmes Distribués
Diagnostiquer un traitement distribué à partir de la disposition physique des données sur un système de fichiers distribué prépare directement au travail d'optimisation et de dimensionnement des systèmes répartis.
Ce défi renforce
- distributed-file-systems
- apache-spark
- analytical-reasoning