Construye un pipeline de eventos de checkout para un marketplace LATAM
Visión general
De qué trata este proyecto.
Procesa 5M eventos de checkout con Spark y Airflow, aplicando el esquema medallón. Obtén un certificado verificable.
El escenario
El marketplace (alrededor de 600 personas, Serie C) creció a través de adquisiciones regionales y arrastra tres backends de pago heredados; el cierre contable mensual depende de reconciliaciones manuales que han causado dos reformulaciones de cifras en el último año.
El Briefing
Lo que harás y lo que demostrarás.
Diseña un pipeline batch + streaming idempotente que unifique eventos de checkout de tres fuentes con menos de 0,1 por ciento de discrepancia.
Earning criteria — what you'll demonstrate
- Aplicar el patrón medallón (bronze/silver/gold) sobre datos transaccionales reales
- Diseñar transformaciones idempotentes que toleren reproceso sin duplicar filas
- Implementar tests de calidad de datos como parte del pipeline, no como afterthought
- Comunicar trade-offs entre latencia streaming y consistencia batch
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Data Engineering and Big Data Systems
Master · Data Engineering
Strong alignment
This challenge maps to Data Engineering and Big Data Systems at the Master level. It sharpens the same practical skills your coursework expects — but in a real industry context with actual constraints and deliverables.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
- Apache Spark
Apply apache spark to solve real industry problems and demonstrate production-level capability.
- Airflow
Apply airflow to solve real industry problems and demonstrate production-level capability.
- Streaming Pipelines
Apply streaming pipelines to solve real industry problems and demonstrate production-level capability.
- Data Modeling
Apply data modeling to solve real industry problems and demonstrate production-level capability.
- Idempotency
Apply idempotency to solve real industry problems and demonstrate production-level capability.
- Data Quality
Apply data quality to solve real industry problems and demonstrate production-level capability.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Ingeniero de Datos
Construir un pipeline batch + streaming idempotente con tests de calidad automatizados es exactamente el trabajo diario de un ingeniero de datos en cualquier marketplace o fintech.
Este proyecto afina
- apache-spark
- airflow
- streaming-pipelines
Ingeniero de MLOps
La disciplina de idempotencia y data quality sobre object storage transfiere directamente a las feature pipelines que los MLOps engineers operan en producción.
Este proyecto afina
- idempotency
- data-quality
- airflow
Arquitecto de Soluciones de IA
Diseñar la arquitectura medallón y comunicar trade-offs streaming vs batch es el lenguaje cotidiano del arquitecto que diseña plataformas de datos para casos de IA.
Este proyecto afina
- data-modeling
- streaming-pipelines
- apache-spark