Manipular objetos deformables con aprendizaje por imitación
Visión general
De qué trata este proyecto.
Dispondrás de 200 demostraciones teleoperadas (datos de fuerza/torque, imágenes RGB-D y secuencias de joints) sobre una celda con un brazo Franka Emika Panda y un material sintético similar a la masa. Entrenarás una política con Diffusion Policy o ACT (Action Chunking Transformer) sobre las demos y evaluarás (1) tasa de éxito en doblado correcto sobre 50 ensayos físicos en simulación con dinámicas de tela, (2) suavidad de la fuerza aplicada y (3) generalización a 3 tamaños de lámina no vistos en entrenamiento. El éxito es tasa de éxito superior al 70% y generalización razonable a 2 de las 3 tallas nuevas.
El Briefing
Lo que harás y lo que demostrarás.
Entrenar una política de manipulación de objetos deformables que iguale el desempeño humano básico en doblado y empaquetado.
Earning criteria — what you'll demonstrate
- Implementar Diffusion Policy o ACT desde una base académica reciente
- Trabajar con datos multimodales (imagen + fuerza + joints) en aprendizaje por imitación
- Diseñar evaluaciones que separen éxito puntual de generalización
- Comunicar resultados a un equipo de hardware con plan de transferencia sim-to-real
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Trayectorias profesionales que esto construye
Roles canónicosML Researcher
Implementar Diffusion Policy sobre datos propios y evaluar generalización es la rutina de quien publica en aprendizaje por imitación robótico.
Este proyecto afina
- imitation-learning
- diffusion-policy
- deformable-manipulation
Research Scientist
Manipulación deformable es un área activa de investigación; el reto entrena la metodología que se espera para conferencias como CoRL o RSS.
Este proyecto afina
- deformable-manipulation
- imitation-learning
- simulation
AI Engineer
Llevar una política aprendida a una integración con ROS y planificar sim-to-real es trabajo AI Engineer en robótica aplicada.
Este proyecto afina
- ros
- pytorch
- diffusion-policy