Visión general
De qué trata este proyecto.
Perfila un ETL de 1.800 LOC, prototipa con Polars y Pandas + multiprocessing, y recomienda la mejor estrategia. Obtén un certificado verificable.
El escenario
La fintech (regulada por la Superintendencia de Banca, Seguros y AFP (SBS) peruana, en plena escala hacia Bolivia) recibe quejas operativas porque el ETL no termina a tiempo para los procesos del día siguiente.
El Briefing
Lo que harás y lo que demostrarás.
Paralelizar un ETL Pandas de 7 horas con Polars o Pandas particionado y recomendar la estrategia con mejor relación rendimiento/mantenibilidad.
Earning criteria — what you'll demonstrate
- Aplicar paralelismo a un ETL real con metodología honesta
- Comparar runtimes de DataFrame con criterios técnicos y de mantenibilidad
- Diseñar particionado por clave para Pandas
- Producir recomendaciones que ponderen complejidad vs ganancia
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Alineación con asignaturas próximamente.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
- Data Pipelines
Apply data pipelines to solve real industry problems and demonstrate production-level capability.
- Parallel Programming
Apply parallel programming to solve real industry problems and demonstrate production-level capability.
- Polars
Apply polars to solve real industry problems and demonstrate production-level capability.
- Pandas
Apply pandas to solve real industry problems and demonstrate production-level capability.
- Performance Engineering
Apply performance engineering to solve real industry problems and demonstrate production-level capability.
- Benchmarking
Apply benchmarking to solve real industry problems and demonstrate production-level capability.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Ingeniero de Backend
Reescribir ETL críticos con datos reales y mantener corrección es habilidad backend muy demandada en fintech de microfinanzas.
Este proyecto afina
- data-pipelines
- pandas
- parallel-programming
Ingeniero de Software
Quien sabe perfilar Python y aplicar paralelismo correcto resuelve problemas que para equipos junior son cajas negras.
Este proyecto afina
- performance-engineering
- parallel-programming
- benchmarking