Diagnóstico do data lake de sensores de uma mineradora em Carajás
Visão geral
Sobre o que é este desafio
Analise o data lake de sensores de uma mineradora, identifique causas de custo e tempo excessivos, e receba um certificado verificável.
O Brief
O que você vai fazer e o que vai demonstrar.
Quais causas técnicas concretas explicam o crescimento desproporcional de custo e de tempo do data lake de sensores, e quais correções trazem mais retorno sem trocar de provedor nem ampliar o time?
Earning criteria — what you'll demonstrate
- Explicar como o layout de arquivos em sistemas de arquivos distribuídos (tamanho de arquivo, particionamento, número de objetos) determina custo e latência de consulta
- Interpretar métricas de execução de trabalhos Apache Spark, distinguindo gargalos de leitura, de embaralhamento de dados entre máquinas e de escrita em disco
- Justificar tecnicamente a escolha entre armazenamento em linhas e armazenamento colunar (formato Apache Parquet) a partir dos padrões reais de consulta
- Converter diagnósticos de engenharia de dados em argumentos quantificados de custo e prazo que uma diretoria não técnica consiga avaliar
Adequação ao Programa
Onde isso se encaixa no seu programa.
Aperfeiçoa as mesmas habilidades que seu curso espera que você demonstre.
Conteúdo alinhado em breve.
Habilidades
Habilidades que você vai demonstrar.
Cada um aparece no seu certificado verificado.
Carreiras
Cargos para os quais este desafio te prepara.
Títulos reais. Pontes reais de habilidades. Escolha o mais próximo da sua trajetória.
Trilhas de carreira que este desafio desenvolve
Funções canônicasArquiteto de Dados
O desafio exige justificar formato de armazenamento e estratégia de particionamento a partir de padrões reais de consulta, e registrar a decisão por escrito. É exatamente o trabalho de quem define padrões de armazenamento e modelagem para uma organização inteira.
Este desafio aprimora
- apache-spark
- architecture-decision-records-adrs
- analytical-reasoning
Site Reliability Engineer
Interpretar métricas de execução para separar gargalo de leitura, de embaralhamento e de disco, e propor monitoramento contínuo, é a rotina de quem responde por confiabilidade e latência de sistemas em produção.
Este desafio aprimora
- application-monitoring
- algorithm-analysis
- analytical-reasoning
Consultor de Ciência de Dados
Produzir um parecer quantificado, com premissas explícitas e recomendações ordenadas por retorno sobre esforço para uma diretoria não técnica, é a entrega central de quem presta consultoria em dados para clientes industriais.
Este desafio aprimora
- 6-pager-writing
- analytical-reasoning
- application-monitoring
Só mais uma coisa