Compresión de modelos con distillation para edge

Un modelo que funciona en un portátil y un modelo que funciona para millones de usuarios son dos artefactos muy diferentes, y los machine learning engineers viven en el espacio entre ellos. El rol existe para convertir ML de nivel de investigación en sistemas de producción confiables, lo que implica preocuparse por la latencia, los pipelines de reentrenamiento y qué sucede cuando la distribución de datos cambia a las tres de la mañana. Los estudiantes crecen en esto a través del trabajo práctico con PyTorch o TensorFlow, más suficiente disciplina de ingeniería de software para ejecutar CI/CD real. Herramientas como AWS SageMaker se convierten en parte del flujo de trabajo. Los buenos ML engineers pueden hablar de trabajo con data scientists por un lado y con platform engineers por el otro, y esa cualidad bilingüe es a menudo lo que les consigue el empleo.

AI Engineering