Visión general
De qué trata este proyecto.
Construye una plataforma web con backend en Python y frontend en React. Soporta tres tipos de evaluación: comparación pareada A/B, escala Likert sobre criterios definidos y libre con texto. Implementa muestreo estratificado, asignación a evaluadoras con bloqueo, cálculo de concordancia (Cohen's kappa, Krippendorff's alpha) y exportación a CSV. Documenta arquitectura, autenticación por equipo, despliegue Docker y tests. Mide tiempo medio de evaluación y concordancia sobre una campaña piloto de 300 ítems con tres evaluadoras. Cierra con demo, memoria de seis páginas y manual del evaluador.
El Briefing
Lo que harás y lo que demostrarás.
Construir una plataforma interna de evaluación humana para LLMs con tres tipos de evaluación, control de concordancia y exportación, lista para uso en producción interna.
Earning criteria — what you'll demonstrate
- Construir herramientas internas de evaluación humana usables
- Implementar cálculo de concordancia entre evaluadoras
- Diseñar muestreo y asignación bloqueada para reducir sesgo
- Entregar producto interno con despliegue y documentación
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Trayectorias profesionales que esto construye
Roles canónicosIngeniero de IA
Construir herramientas internas de evaluación humana para LLMs es trabajo directo de un AI Engineer en empresas que escalan productos generativos.
Este proyecto afina
- full-stack-development
- human-evaluation
- software-engineering
Científico de Datos Aplicado a IA
Implementar concordancia entre evaluadoras y muestreo estratificado es palanca directa de un científico aplicado a IA en evaluación de LLMs.
Este proyecto afina
- human-evaluation
- model-evaluation
- system-design
Diseñador de Producto de IA
Diseñar el flujo del evaluador para reducir fatiga y mejorar consistencia es ejercicio directo del rol emergente de AI Product Designer en herramientas internas.
Este proyecto afina
- full-stack-development
- human-evaluation
- system-design