Procesamiento por lotes de logs energéticos en una utility del IBEX
Visión general
De qué trata este proyecto.
Procesa 135.000 millones de logs en un clúster Spark, diseña capas Bronze/Silver/Gold en Delta Lake y obtén tu certificado verificable.
El escenario
La utility distribuye unos 95 teravatios-hora anuales con cerca de 11 millones de puntos de suministro; los cuatro pipelines actuales se solapan en cómputo y dificultan la trazabilidad cuando el regulador pide análisis ad hoc.
El Briefing
Lo que harás y lo que demostrarás.
Diseñar y prototipar una arquitectura unificada en Delta Lake que reduzca el coste operativo y simplifique la trazabilidad regulatoria del procesamiento por lotes.
Earning criteria — what you'll demonstrate
- Diseñar arquitecturas Lakehouse con Delta Lake
- Implementar capas de transformación con tests de calidad de datos
- Razonar sobre particionado y compactación a escala
- Planificar migraciones por fases en sistemas regulados
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Machine Learning at Scale
Master · Ai Systems
Strong alignment
This challenge maps to Machine Learning at Scale at the Master level. It sharpens the same practical skills your coursework expects — but in a real industry context with actual constraints and deliverables.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
- Spark
Apply spark to solve real industry problems and demonstrate production-level capability.
- Delta Lake
Apply delta lake to solve real industry problems and demonstrate production-level capability.
- Data Engineering
Design and build pipelines that collect, transform, and deliver reliable data at scale.
- Data Quality
Apply data quality to solve real industry problems and demonstrate production-level capability.
- Batch Processing
Apply batch processing to solve real industry problems and demonstrate production-level capability.
- Monitoring
Apply monitoring to solve real industry problems and demonstrate production-level capability.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Ingeniero/a de Datos
Diseñar arquitecturas Lakehouse con Delta Lake y migrar pipelines productivos por fases es el trabajo central de una persona data engineer en empresas reguladas.
Este proyecto afina
- spark
- delta-lake
- data-engineering
Ingeniero/a de MLOps
Trazabilidad, calidad de datos y monitorización son habilidades transferibles directamente a equipos MLOps que sirven modelos sobre estos datos.
Este proyecto afina
- data-quality
- monitoring
- batch-processing
Ingeniero/a de Aprendizaje Automático
Entender el origen y la calidad de los datos sobre los que se entrenan modelos es habilidad fundamental de una persona MLE en sectores energéticos.
Este proyecto afina
- data-quality
- spark
- batch-processing