Diseño de un benchmark interno para asistentes de código
Visión general
De qué trata este proyecto.
Recibes una lista de 60 tareas reales recientes del backlog (15 por cuatro categorías: bugfix, feature pequeña, refactor, test). Diseña un protocolo con tres condiciones (asistente A, asistente B, asistente C) y trabajo sin asistente como control. Define métricas: tiempo de cierre, líneas modificadas, defectos posteriores, vulnerabilidades introducidas (con SAST). Asigna tareas con bloqueo por categoría y persona. Ejecuta el benchmark sobre cuatro semanas con personas voluntarias. Cierra con una memoria de seis páginas y una recomendación al CTO.
El Briefing
Lo que harás y lo que demostrarás.
Diseñar y ejecutar un benchmark interno de tres asistentes de código sobre tareas reales, con métricas múltiples y análisis estadístico de diferencias.
Earning criteria — what you'll demonstrate
- Diseñar experimentos sobre productividad humana con asistentes de IA
- Equilibrar métricas conflictivas (rapidez vs. calidad vs. seguridad)
- Aplicar tests estadísticos a muestras humanas pequeñas
- Comunicar resultados a una audiencia técnica directiva
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Trayectorias profesionales que esto construye
Roles canónicosCientífico de Datos Aplicado a IA
Diseñar y ejecutar evaluaciones rigurosas sobre adopción de IA en flujos humanos es trabajo nuclear del rol aplicado en empresas medianas y grandes.
Este proyecto afina
- experimental-design
- model-evaluation
- benchmarking
Investigador de Machine Learning
Comparar herramientas con rigor estadístico sobre tareas reales es ejercicio directo de un ML Researcher en evaluación aplicada.
Este proyecto afina
- statistical-testing
- experimental-design
- benchmarking
Gerente de Producto de IA
Convertir los resultados en una decisión de plataforma para el CTO es competencia diferencial de un AI Product Manager interno.
Este proyecto afina
- benchmarking
- stakeholder-communication
- developer-productivity