Concevez un banc d'évaluation reproductible pour l'inspection visuelle de plaquettes
Aperçu
En quoi consiste ce défi.
Diagnostiquez les sources de non-reproductibilité et spécifiez un protocole figé pour l'inspection visuelle de plaquettes. Obtenez un certificat vérifiable.
Le scénario
Ce sous-traitant emploie environ 150 personnes et fournit des lignes d'assemblage de composants où un défaut manqué coûte cher en rappels ; ses décisions de déploiement de modèles reposent aujourd'hui sur des évaluations artisanales que personne ne sait rejouer.
Le brief
Ce que vous ferez, et ce que vous démontrerez.
Comment concevoir un banc d'évaluation figé et versionné qui garantisse que deux ingénieurs comparant les mêmes modèles obtiennent le même verdict ?
Earning criteria — what you'll demonstrate
- Identifier les sources concrètes de non-reproductibilité d'une évaluation (ordre, graines, découpages, seuils) (cours : reproducibility)
- Concevoir un protocole d'évaluation figé avec métriques déclarées à l'avance (cours : evaluation methodology)
- Comparer deux modèles avec une mesure d'incertitude plutôt que sur un écart de score brut (cours : statistical evaluation methodology)
- Instrumenter un suivi d'expériences qui rend chaque résultat traçable et rejouable (cours : reproducibility)
Adéquation au programme
Où cela s'inscrit dans votre cursus.
Renforce les mêmes compétences que celles attendues par votre diplôme.
Cursus associés bientôt disponibles.
Compétences
Les compétences que vous démontrerez.
Chacune apparaît sur votre certificat vérifié.
- Reproducibility
Apply reproducibility to solve real industry problems and demonstrate production-level capability.
- Model Evaluation
Apply model evaluation to solve real industry problems and demonstrate production-level capability.
- Mlflow
Apply mlflow to solve real industry problems and demonstrate production-level capability.
- Weights Biases Experiment Tracking
Apply weights biases experiment tracking to solve real industry problems and demonstrate production-level capability.
- Ml Pipelines
Apply ml pipelines to solve real industry problems and demonstrate production-level capability.
Débouchés
Les métiers auxquels ce défi vous prépare.
De vrais intitulés. De vraies passerelles de compétences. Choisissez celui qui se rapproche le plus de votre trajectoire.
Chercheur en Machine Learning
Concevoir un protocole d'évaluation figé et statuer entre modèles avec une mesure d'incertitude est exactement la discipline expérimentale d'un chercheur en apprentissage automatique, dont la crédibilité repose sur des résultats que d'autres peuvent reproduire.
Ce défi renforce
- reproducibility
- model-evaluation
- weights-biases-experiment-tracking
Ingénieur MLOps
Versionner les jeux de test, instrumenter le suivi d'expériences et fournir un guide d'exécution rejouable sont des tâches centrales du métier MLOps, qui industrialise le cycle de vie des modèles et garantit des évaluations traçables.
Ce défi renforce
- mlflow
- ml-pipelines
- reproducibility
Research Scientist
Ce défi entraîne la rigueur d'un research scientist : déclarer les métriques à l'avance, contrôler les sources de variance et documenter un protocole assez précis pour qu'un pair le rejoue à l'identique.
Ce défi renforce
- reproducibility
- model-evaluation
- mlflow