Bancada de avaliação e monitoramento para agentes de suporte
Visão geral
Sobre o que é este desafio
Construa um sistema de avaliação e monitoramento para agentes de suporte com métricas e detecção de regressão. Obtenha um certificado verificável.
O Brief
O que você vai fazer e o que vai demonstrar.
A empresa colocou agentes de IA em produção sem nenhuma forma de medir se as respostas estão corretas, quanto cada resposta custa e se uma mudança de prompt melhorou ou piorou o serviço.
Earning criteria — what you'll demonstrate
- Projetar a camada de avaliação de um produto de IA, distinguindo métrica de produto de métrica de modelo
- Instrumentar custo e qualidade juntos, para que decisões de produto considerem as duas dimensões ao mesmo tempo
- Gerir o ciclo de vida de agentes em produção: versionamento, detecção de regressão e critério de bloqueio de subida
- Definir o ponto exato do fluxo em que um humano revisa a saída do agente e com que amostragem
- Comunicar resultados técnicos de avaliação em linguagem que uma liderança comercial usa para decidir
Adequação ao Programa
Onde isso se encaixa no seu programa.
Aperfeiçoa as mesmas habilidades que seu curso espera que você demonstre.
Conteúdo alinhado em breve.
Habilidades
Habilidades que você vai demonstrar.
Cada um aparece no seu certificado verificado.
Carreiras
Cargos para os quais este desafio te prepara.
Títulos reais. Pontes reais de habilidades. Escolha o mais próximo da sua trajetória.
Trilhas de carreira que este desafio desenvolve
Funções canônicasGerente de Produto de IA
Definir o contrato de qualidade e o critério de bloqueio de versão é a decisão de produto mais difícil em IA aplicada. Você sai com evidência prática de como equilibrar velocidade de entrega, custo de modelo e risco de resposta errada para o cliente.
Este desafio aprimora
- cost-quality-tracking
- agent-lifecycle-management
- agent-role-definition
Engenheiro de MLOps
A bancada que vocês constroem é a espinha dorsal de uma esteira de operação de modelos: versionamento, execução em lote, detecção de regressão e portões de qualidade automatizados antes da subida para produção.
Este desafio aprimora
- agent-performance-monitoring
- agent-lifecycle-management
- cost-quality-tracking
Analista de Dados
Você pratica amostragem estratificada, comparação entre versões e construção de painel com fonte de dado rastreável — exatamente o trabalho de medir se uma mudança de produto teve efeito real ou ruído.
Este desafio aprimora
- agent-performance-monitoring
- cost-quality-tracking
- human-ai-team-workflows
Arquiteto de Soluções de IA
O desenho da camada de avaliação, dos pontos de revisão humana e dos limites de custo por rodada é decisão arquitetural típica de quem desenha soluções de IA para empresas com orçamento apertado.
Este desafio aprimora
- agent-lifecycle-management
- human-ai-team-workflows
- agent-performance-monitoring
Só mais uma coisa