Concevez un banc d'évaluation reproductible pour l'inspection visuelle de plaquettes
Aperçu
En quoi consiste ce défi.
Diagnostiquez les sources de non-reproductibilité et spécifiez un protocole figé pour l'inspection visuelle de plaquettes. Obtenez un certificat vérifiable.
Le brief
Ce que vous ferez, et ce que vous démontrerez.
Comment concevoir un banc d'évaluation figé et versionné qui garantisse que deux ingénieurs comparant les mêmes modèles obtiennent le même verdict ?
Earning criteria — what you'll demonstrate
- Identifier les sources concrètes de non-reproductibilité d'une évaluation (ordre, graines, découpages, seuils) (cours : reproducibility)
- Concevoir un protocole d'évaluation figé avec métriques déclarées à l'avance (cours : evaluation methodology)
- Comparer deux modèles avec une mesure d'incertitude plutôt que sur un écart de score brut (cours : statistical evaluation methodology)
- Instrumenter un suivi d'expériences qui rend chaque résultat traçable et rejouable (cours : reproducibility)
Adéquation au programme
Où cela s'inscrit dans votre cursus.
Renforce les mêmes compétences que celles attendues par votre diplôme.
Cursus associés bientôt disponibles.
Compétences
Les compétences que vous démontrerez.
Chacune apparaît sur votre certificat vérifié.
Débouchés
Les métiers auxquels ce défi vous prépare.
De vrais intitulés. De vraies passerelles de compétences. Choisissez celui qui se rapproche le plus de votre trajectoire.
Chercheur en Machine Learning
Concevoir un protocole d'évaluation figé et statuer entre modèles avec une mesure d'incertitude est exactement la discipline expérimentale d'un chercheur en apprentissage automatique, dont la crédibilité repose sur des résultats que d'autres peuvent reproduire.
Ce défi renforce
- reproducibility
- model-evaluation
- weights-biases-experiment-tracking
Ingénieur MLOps
Versionner les jeux de test, instrumenter le suivi d'expériences et fournir un guide d'exécution rejouable sont des tâches centrales du métier MLOps, qui industrialise le cycle de vie des modèles et garantit des évaluations traçables.
Ce défi renforce
- mlflow
- ml-pipelines
- reproducibility
Research Scientist
Ce défi entraîne la rigueur d'un research scientist : déclarer les métriques à l'avance, contrôler les sources de variance et documenter un protocole assez précis pour qu'un pair le rejoue à l'identique.
Ce défi renforce
- reproducibility
- model-evaluation
- mlflow