Construire un audit d'équité pour un score de micro-crédit
Aperçu
En quoi consiste ce défi.
Vous livrez un module Python autonome qui prend l'extrait de décisions fourni et produit, sans intervention manuelle, un rapport d'équité chiffré. Le module doit calculer au minimum quatre mesures d'équité distinctes — écart de taux d'acceptation entre groupes (parité démographique), écart de taux de vrais positifs (égalité des chances), écart de taux de faux refus, et calibration comparée entre groupes — pour au moins deux attributs sensibles (genre et zone rurale/urbaine) ainsi que pour leur croisement. Contrainte centrale : un écart chiffré n'est pas une conclusion. Pour chaque écart significatif, vous devez tester si le taux de défaut observé diffère lui aussi entre les groupes ; si les groupes remboursent au même rythme mais sont acceptés à des taux différents, vous démontrez que le modèle pénalise un groupe au-delà de son risque réel, et vous identifiez la variable relais qui porte cet effet. La réussite se reconnaît à ceci : la direction des risques peut relancer votre module sur la prochaine version du modèle sans vous appeler, et le rapport lui indique quelles variables corriger en priorité.
Le brief
Ce que vous ferez, et ce que vous démontrerez.
Le score d'avance refuse plus souvent des clientes et des clients ruraux qui remboursent pourtant aussi bien que les autres, et l'entreprise n'a aucun moyen répétable de mesurer et d'expliquer cet écart.
Earning criteria — what you'll demonstrate
- Calculer et interpréter les principales mesures d'équité algorithmique (parité démographique, égalité des chances, écart de faux refus, calibration) et expliquer pourquoi elles ne peuvent généralement pas être satisfaites toutes en même temps
- Distinguer un écart statistique justifié par une différence de risque réel d'une discrimination portée par une variable relais, en s'appuyant sur les résultats observés de remboursement
- Transformer un principe d'éthique de l'IA en contrôle technique répétable et automatisé plutôt qu'en déclaration d'intention
- Situer un audit d'équité dans les fonctions Mesurer et Gérer du cadre de gestion des risques liés à l'IA du NIST (NIST AI RMF — AI Risk Management Framework, institut américain de normalisation)
- Communiquer un constat de biais à une direction non technique en termes de décisions à prendre, pas de métriques à contempler
Adéquation au programme
Où cela s'inscrit dans votre cursus.
Renforce les mêmes compétences que celles attendues par votre diplôme.
Cursus associés bientôt disponibles.
Compétences
Les compétences que vous démontrerez.
Chacune apparaît sur votre certificat vérifié.
Débouchés
Les métiers auxquels ce défi vous prépare.
De vrais intitulés. De vraies passerelles de compétences. Choisissez celui qui se rapproche le plus de votre trajectoire.
Les parcours de carrière que ce défi construit
Métiers de référenceAnalyste Junior en IA Responsable
Ce défi fournit exactement le geste central du métier : mesurer un écart de traitement entre groupes, vérifier s'il est justifié par le risque réel, puis le documenter pour une direction opérationnelle. La personne repart avec un outil d'audit réutilisable dans son portfolio.
Ce défi renforce
- fairness-metrics
- ai-bias
- ai-ethics
Data Scientist
Travailler les seuils de décision, la calibration par groupe et les variables relais d'un modèle de crédit développe la lecture critique des modèles que l'on attend d'un data scientist en production, au-delà de la seule optimisation de la performance globale.
Ce défi renforce
- fairness-metrics
- ai-bias
- nist-ai-risk-management-framework
Analyste de Risques
L'exercice relie directement un modèle statistique aux pertes de crédit observées et au risque de réputation d'un établissement financier, et entraîne à formuler des recommandations priorisées destinées à une direction des risques.
Ce défi renforce
- ai-bias
- nist-ai-risk-management-framework
- ai-ethics