Construye un dataset de preferencias para asistente de soporte
Visión general
De qué trata este proyecto.
Recibes 1.500 prompts de soporte simulados (ES) y 2 respuestas generadas por prompt (A y B) por un modelo base. Diseña: (1) guidelines de anotación de 4-6 páginas con criterios (utilidad, tono, exactitud, seguridad), (2) protocolo con cuestionarios de calibración, (3) interfaz de anotación (Label Studio o Argilla), (4) controles de calidad (10% redundancia, gold tasks). Coordina 5 anotadores (puede simularse con compañeros de clase + IA judge calibrada). Mide acuerdo inter-anotador (Cohen's kappa o Krippendorff's alpha). Éxito = dataset de >=1.200 pares utilizables, kappa >= 0,55, y análisis de sesgos (longitud, formalidad).
El Briefing
Lo que harás y lo que demostrarás.
Construir un dataset de 1.200+ preferencias con guidelines, control de calidad y análisis de sesgo para entrenar un Reward Model.
Earning criteria — what you'll demonstrate
- Diseñar guidelines de anotación de preferencias claras y operacionables
- Implementar controles de calidad (redundancia, gold tasks, calibración)
- Medir acuerdo inter-anotador con métricas apropiadas
- Identificar y mitigar sesgos sistemáticos en datasets de preferencias
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Trayectorias profesionales que esto construye
Roles canónicosInvestigador/a en Seguridad de IA
Diseñar protocolos de anotación de preferencias con QA y análisis de sesgos es trabajo nuclear del AI safety researcher en alignment.
Este proyecto afina
- preference-learning
- annotation-protocols
- evaluation
Ingeniero/a de Datos
Construir datasets de calidad con trazabilidad, controles y análisis estadístico es competencia central del data engineer en proyectos LLM.
Este proyecto afina
- data-collection
- annotation-protocols
- python
Investigador/a de Machine Learning
Medir acuerdo inter-anotador y analizar sesgos sistemáticos emula el rigor del ML researcher en proyectos RLHF.
Este proyecto afina
- preference-learning
- rlhf
- evaluation