Investiga eficiencia de transformers con distillation para una scaleup chilena
Visión general
De qué trata este proyecto.
Recibirás el modelo teacher (XLM-R-large fine-tuneado para clasificación de 18 clases) y 200.000 ejemplos sin etiquetar. Implementa: (1) distillation con DistilBERT multilingüe como student, (2) distillation logit-matching + label-smoothing, (3) evaluación de F1 macro, latencia (CPU y GPU), tamaño en disco y throughput. Compara student contra teacher con intervalos. El éxito es retener >= 95 % del F1 con >= 3x reducción de latencia. Entrega informe de research de 5 páginas.
El Briefing
Lo que harás y lo que demostrarás.
Distilar un XLM-R-large a un student >= 3x más rápido reteniendo >= 95 % del F1 macro, y dejar el experimento reproducible.
Earning criteria — what you'll demonstrate
- Aplicar knowledge distillation a transformers para compresión real
- Evaluar compresión con múltiples métricas (calidad + eficiencia)
- Diagnosticar qué clases pierden más bajo distillation
- Producir informe de research replicable por el equipo
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Trayectorias profesionales que esto construye
Roles canónicosInvestigador/a en ML
Distilar transformers con rigor experimental y reportar trade-offs es trabajo nuclear del ML researcher aplicado a compresión.
Este proyecto afina
- knowledge-distillation
- transformers
- evaluation
Ingeniero/a de Machine Learning
Compresión de modelos para producción es competencia altamente demandada del MLE en scaleups con costes GPU significativos.
Este proyecto afina
- model-compression
- transformers
- benchmarking
Ingeniero/a de PLN
Distillation aplicada a NLP en producción es el camino habitual para bajar coste sin sacrificar mucha calidad; trabajo del NLP engineer senior.
Este proyecto afina
- transformers
- python
- evaluation