Diseñar un data lake en S3 + Iceberg para una telco en Madrid
Visión general
De qué trata este proyecto.
Diseña la arquitectura: capa raw (Parquet bruto desde el ingestor), capa silver (Iceberg con limpieza), capa gold (vistas curadas para BI). Define convenciones de particionado por evento_date + hidden partitioning de Iceberg, compactación periódica, retención y manifests. Implementa la migración de 3 dominios (CDR de voz, sesiones de datos móviles, eventos de IoT B2B) sobre 8 TB de muestra. Mide tiempo de consulta P50/P95 para 10 queries representativas comparando Iceberg vs el estado anterior (Hive + Parquet). Entrega: arquitectura, scripts de migración, harness de benchmark, runbook operativo.
El Briefing
Lo que harás y lo que demostrarás.
Migrar 3 dominios de datos legacy a un data lake en Iceberg con convenciones operativas claras y mejorar el rendimiento de consultas P95.
Earning criteria — what you'll demonstrate
- Diseñar un data lake moderno basado en Iceberg
- Aplicar particionado oculto, schema evolution y time travel correctamente
- Comparar empíricamente Iceberg vs Hive/Parquet sobre consultas reales
- Definir un runbook operativo aplicable por SRE/data engineering
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Trayectorias profesionales que esto construye
Roles canónicosBackend Engineer
Diseñar y migrar un data lake a Iceberg con convenciones operativas es trabajo central de una Backend Engineer de plataforma de datos.
Este proyecto afina
- apache-iceberg
- data-lakes
- spark
Systems Architect
Las Systems Architects que entienden los trade-offs de formatos de tabla abierta toman decisiones que aguantan 5 años de crecimiento.
Este proyecto afina
- data-lakes
- data-modeling
- apache-iceberg