Diagnóstico do data lake de sensores de uma mineradora em Carajás
Visão geral
Sobre o que é este desafio
Analise o data lake de sensores de uma mineradora, identifique causas de custo e tempo excessivos, e receba um certificado verificável.
O cenário
Uma mineradora de minério de ferro de porte médio, com mina e usina de beneficiamento na região de Carajás (Pará), coleta cerca de 40 mil leituras de sensores por minuto de caminhões, correias e britadores, e as grava em um data lake na nuvem usado por manutenção, planejamento de lavra e engenharia de confiabilidade. Entre março de 2025 e março de 2026, o gasto mensal com armazenamento e processamento saltou de aproximadamente 62 mil para 190 mil reais, enquanto o volume de dados brutos cresceu apenas 70%, e o relatório diário de disponibilidade atrasou cinco horas.
O Brief
O que você vai fazer e o que vai demonstrar.
Quais causas técnicas concretas explicam o crescimento desproporcional de custo e de tempo do data lake de sensores, e quais correções trazem mais retorno sem trocar de provedor nem ampliar o time?
Earning criteria — what you'll demonstrate
- Explicar como o layout de arquivos em sistemas de arquivos distribuídos (tamanho de arquivo, particionamento, número de objetos) determina custo e latência de consulta
- Interpretar métricas de execução de trabalhos Apache Spark, distinguindo gargalos de leitura, de embaralhamento de dados entre máquinas e de escrita em disco
- Justificar tecnicamente a escolha entre armazenamento em linhas e armazenamento colunar (formato Apache Parquet) a partir dos padrões reais de consulta
- Converter diagnósticos de engenharia de dados em argumentos quantificados de custo e prazo que uma diretoria não técnica consiga avaliar
Adequação ao Programa
Onde isso se encaixa no seu programa.
Aperfeiçoa as mesmas habilidades que seu curso espera que você demonstre.
Conteúdo alinhado em breve.
Habilidades
Habilidades que você vai demonstrar.
Cada um aparece no seu certificado verificado.
- Apache Spark
Apply apache spark to solve real industry problems and demonstrate production-level capability.
- Analytical Reasoning
Apply analytical reasoning to solve real industry problems and demonstrate production-level capability.
- Algorithm Analysis
Apply algorithm analysis to solve real industry problems and demonstrate production-level capability.
- Application Monitoring
Apply application monitoring to solve real industry problems and demonstrate production-level capability.
- 6 Pager Writing
Apply 6 pager writing to solve real industry problems and demonstrate production-level capability.
- Architecture Decision Records Adrs
Apply architecture decision records adrs to solve real industry problems and demonstrate production-level capability.
Carreiras
Cargos para os quais este desafio te prepara.
Títulos reais. Pontes reais de habilidades. Escolha o mais próximo da sua trajetória.
Trilhas de carreira que este desafio desenvolve
Funções canônicasArquiteto de Dados
O desafio exige justificar formato de armazenamento e estratégia de particionamento a partir de padrões reais de consulta, e registrar a decisão por escrito. É exatamente o trabalho de quem define padrões de armazenamento e modelagem para uma organização inteira.
Este desafio aprimora
- apache-spark
- architecture-decision-records-adrs
- analytical-reasoning
Site Reliability Engineer
Interpretar métricas de execução para separar gargalo de leitura, de embaralhamento e de disco, e propor monitoramento contínuo, é a rotina de quem responde por confiabilidade e latência de sistemas em produção.
Este desafio aprimora
- application-monitoring
- algorithm-analysis
- analytical-reasoning
Consultor de Ciência de Dados
Produzir um parecer quantificado, com premissas explícitas e recomendações ordenadas por retorno sobre esforço para uma diretoria não técnica, é a entrega central de quem presta consultoria em dados para clientes industriais.
Este desafio aprimora
- 6-pager-writing
- analytical-reasoning
- application-monitoring
Só mais uma coisa