Investiga eficiencia de transformers con distillation para una scaleup chilena

¿Y si la atención funcionara de otra manera? ¿Y si un modelo más pequeño, entrenado mejor, pudiera igualar a uno mucho más grande? Los investigadores de ML viven persiguiendo preguntas como estas. El rol existe para expandir los límites de lo que los modelos pueden lograr — mediante estudios de ablación cuidadosos, arquitecturas novedosas y la paciente rutina de ejecutar experimentos que a menudo refutan tu hipótesis favorita. Los días combinan la lectura de artículos recientes, el esbozo de ideas y la escritura de código en JAX o PyTorch que alguien más leerá en seis meses. Los estudiantes crecen en este camino reproduciendo resultados publicados antes de inventar los propios, y aprendiendo a redactar hallazgos con honestidad intelectual. Los mejores investigadores mantienen la curiosidad sobre por qué algo funcionó, no solo que funcionó.

AI Research