Construye un sistema de A/B testing de modelos para una plataforma de turismo
Visión general
De qué trata este proyecto.
Recibirás dos modelos de personalización (modelo A en producción, modelo B candidato) y trazas históricas de 6 meses. Implementa: (1) servicio de routing que asigne usuarios a A o B de forma estable, (2) registro de métricas primarias (CTR, conversión) y de guardia (latencia, error rate), (3) cálculo automático de significancia con frecuencia diaria. Entrega el sistema funcionando + un manual que permita al equipo de producto lanzar un experimento sin asistencia técnica.
El Briefing
Lo que harás y lo que demostrarás.
Construir un sistema reproducible de A/B testing de modelos con asignación estable, métricas primarias y de guardia, y cálculo automático de significancia.
Earning criteria — what you'll demonstrate
- Construir infraestructura de experimentación específica para ML
- Implementar asignación estable y métricas de guardia honestas
- Aplicar estadística inferencial correcta a experimentos ML
- Diseñar herramientas que el equipo de producto pueda usar autónomamente
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Trayectorias profesionales que esto construye
Roles canónicosIngeniero/a MLOps
Construir plataforma de experimentación de modelos es trabajo central de MLOps en cualquier producto digital maduro.
Este proyecto afina
- experimentation-platform
- ab-testing
- production-ml
Ingeniero/a de Datos
El pipeline de registro y procesamiento de métricas de experimentos es competencia clave del data engineer orientado a producto.
Este proyecto afina
- data-engineering
- python
- experimentation-platform
Científico/a de Datos
El componente estadístico (significancia con bootstrap, métricas de guardia) es competencia del data scientist senior orientado a experimentación.
Este proyecto afina
- statistics
- ab-testing
- python