Versionado y A/B testing de prompts en producción para asistente verticalizado
Visión general
De qué trata este proyecto.
Diseñarás un sistema con: (1) repositorio Git de prompts versionados con tags semánticos, (2) servicio que recibe traffic y reparte entre A y B según política, (3) registro de cada generación con prompt_version_id, (4) panel para comparar métricas (latencia, tokens, juicio offline). Implementarás también un sistema de rollback de un click. Usarás un dataset de 60 conversaciones reales para juicios offline tras cada release. Entregarás sistema + documentación + playbook.
El Briefing
Lo que harás y lo que demostrarás.
Construir un sistema de versionado + A/B testing de prompts en producción con métricas comparables y rollback inmediato.
Earning criteria — what you'll demonstrate
- Diseñar sistemas de versionado de prompts mantenibles
- Implementar A/B testing en producción con políticas explícitas
- Medir cambios de prompt con métricas comparables
- Documentar procedimientos de release y rollback
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Trayectorias profesionales que esto construye
Roles canónicosIngeniera de Prompts
Diseñar versionado y A/B de prompts es exactamente el rol que las scale-ups crean cuando un asistente LLM se vuelve crítico de negocio.
Este proyecto afina
- prompt-versioning
- ab-testing
- evaluation
Ingeniera de MLOps
El bucle release/rollback/observabilidad es trabajo central de MLOps en sistemas LLM en producción.
Este proyecto afina
- observability
- ab-testing
- llm-application-development
Ingeniera de IA
Construir el servicio de routing y el panel de comparación es la clase de glue work que las AI engineers entregan continuamente.
Este proyecto afina
- python
- llm-application-development
- prompt-versioning