Aprende preferencias de manipulación a partir de feedback humano

Recibirás un brazo simulado en MuJoCo con 3 tareas de manipulación (pasar un vaso, abrir la nevera, recoger una cuchara) y un dataset inicial de 50 demostraciones humanas con etiquetas de comodidad declarada. Implementarás un pipeline de Reinforcement Learning from Human Feedback (RLHF, aprendizaje por refuerzo a partir de feedback humano) en pequeña escala: modelo de recompensa entrenado sobre preferencias por pares, política refinada con PPO, evaluación con 8 personas voluntarias en simulador VR comparando la política base con la refinada. Entregarás política, modelo de recompensa, resultados del estudio y reflexión sobre escalabilidad.