Diseñar el lifecycle de evaluación de un modelo en producción
Visión general
De qué trata este proyecto.
Diseñarás (1) un dashboard de monitorización con métricas operativas (precision, recall, alerts/día) y de drift (PSI — Population Stability Index — sobre 8 features clave), (2) un protocolo de evaluación trimestral con golden set actualizable, (3) un árbol de decisión "detectar → diagnosticar → decidir reentrenamiento" con umbrales explícitos y dueños, (4) plantillas de informes (semanal, trimestral) y (5) un playbook de respuesta a incidentes (drift agudo, baja de recall). Trabajarás con datos sintéticos pero realistas que simulan drift.
El Briefing
Lo que harás y lo que demostrarás.
Diseñar el lifecycle de evaluación post-despliegue de un modelo de fraude en producción con monitorización, umbrales y playbook de respuesta.
Earning criteria — what you'll demonstrate
- Diseñar métricas operativas y de drift coherentes con la operación real
- Definir umbrales con base estadística, no por intuición
- Construir procesos que sobrevivan al cambio de personas en el equipo
- Conectar señales técnicas con decisiones de negocio (reentrenar / parar / escalar)
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Trayectorias profesionales que esto construye
Roles canónicosAI Product Manager
Diseñar lifecycle post-despliegue es trabajo central de AI PM en productos críticos como fraude.
Este proyecto afina
- ai-lifecycle
- model-monitoring
- ml-ops-strategy
MLOps Engineer
Operacionalizar monitorización de drift y respuesta a incidentes es trabajo MLOps puro en fintech.
Este proyecto afina
- drift-detection
- incident-response
- model-monitoring
AI Solutions Architect
Diseñar la arquitectura de monitorización antes del despliegue evita problemas que AI Solutions Architect tendrá que apagar después.
Este proyecto afina
- ml-ops-strategy
- ai-lifecycle
- metrics-definition