Visión general
De qué trata este proyecto.
Diseña la plataforma: Spark on Kubernetes operator, autoscaling con Karpenter, mix de nodos on-demand + spot, gestión de Shuffle externo (S3 o disco efímero), observabilidad con Prometheus + Grafana + OpenLineage. Despliega un cluster EKS de pruebas y migra 8 jobs Spark representativos de la marca (replicados sobre datos anonimizados). Ejecuta TPC-DS subset (10 queries) para validar y comparar coste y tiempo contra EMR equivalente. Entrega: arquitectura, IaC (Terraform + Helm), benchmark, runbook operativo y plan de migración por fases.
El Briefing
Lo que harás y lo que demostrarás.
Migrar las cargas Spark de la marca de EMR a EKS reduciendo coste sin comprometer SLA, con plan de migración por fases.
Earning criteria — what you'll demonstrate
- Operar Spark sobre Kubernetes con autoscaling moderno
- Gestionar mix on-demand + spot sin perder estabilidad
- Implementar observabilidad de jobs Spark (métricas + lineage)
- Planificar migración de plataforma de datos por fases
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.