Concevez un banc d'évaluation statistique pour un modèle d'extraction documentaire
Aperçu
En quoi consiste ce défi.
Concevez un banc d'évaluation statistique pour deux modèles d'extraction documentaire et recevez un certificat vérifiable.
Le brief
Ce que vous ferez, et ce que vous démontrerez.
Comment concevoir un banc d'évaluation statistiquement rigoureux et reproductible qui tranche entre deux modèles d'extraction et estime honnêtement leur fiabilité pour un usage critique ?
Earning criteria — what you'll demonstrate
- Concevoir un banc d'évaluation sur mesure aligné sur un risque métier critique (cours : benchmarks)
- Définir une vérité de référence solide et mesurer l'accord inter-annotateurs (cours : evaluation methodology, data annotation)
- Comparer deux modèles avec quantification d'incertitude et correction pour comparaisons multiples (cours : statistical evaluation methodology)
- Rendre le banc reproductible et prévoir la surveillance de dérive après déploiement (cours : reproducibility, monitoring)
Adéquation au programme
Où cela s'inscrit dans votre cursus.
Renforce les mêmes compétences que celles attendues par votre diplôme.
Cursus associés bientôt disponibles.
Compétences
Les compétences que vous démontrerez.
Chacune apparaît sur votre certificat vérifié.
Débouchés
Les métiers auxquels ce défi vous prépare.
De vrais intitulés. De vraies passerelles de compétences. Choisissez celui qui se rapproche le plus de votre trajectoire.
Les parcours de carrière que ce défi construit
Métiers de référenceAI Safety Researcher
Évaluer un modèle pour un usage critique en quantifiant honnêtement l'incertitude et en prévoyant la dérive prépare directement au travail d'un chercheur en sécurité de l'IA, dont la mission est d'établir dans quelles limites un système est réellement fiable.
Ce défi renforce
- model-evaluation
- reproducibility
- model-monitoring
Research Scientist
Concevoir un banc sur mesure, définir une vérité de référence rigoureuse et comparer des modèles avec correction pour comparaisons multiples reproduit la démarche expérimentale d'un research scientist qui doit défendre ses résultats devant des pairs.
Ce défi renforce
- model-evaluation
- reproducibility
- weights-biases-experiment-tracking
Analyste Responsible AI Junior
Documenter un protocole d'annotation, mesurer l'accord inter-annotateurs et surveiller la qualité après déploiement sont des gestes clés de l'analyse d'IA responsable, où l'on doit prouver qu'un système reste sûr dans le temps.
Ce défi renforce
- model-evaluation
- data-annotation
- model-monitoring