Bancada de avaliação e monitoramento para agentes de suporte
Visão geral
Sobre o que é este desafio
Construa um sistema de avaliação e monitoramento para agentes de suporte com métricas e detecção de regressão. Obtenha um certificado verificável.
O cenário
Empresas de SaaS do Porto Digital operam com margens apertadas e suporte de alto volume e baixo valor unitário, o que faz da automação de primeiro nível uma alavanca óbvia — e do erro fiscal um risco de cancelamento imediato, já que o cliente é um varejista que depende do sistema para emitir nota.
O Brief
O que você vai fazer e o que vai demonstrar.
A empresa colocou agentes de IA em produção sem nenhuma forma de medir se as respostas estão corretas, quanto cada resposta custa e se uma mudança de prompt melhorou ou piorou o serviço.
Earning criteria — what you'll demonstrate
- Projetar a camada de avaliação de um produto de IA, distinguindo métrica de produto de métrica de modelo
- Instrumentar custo e qualidade juntos, para que decisões de produto considerem as duas dimensões ao mesmo tempo
- Gerir o ciclo de vida de agentes em produção: versionamento, detecção de regressão e critério de bloqueio de subida
- Definir o ponto exato do fluxo em que um humano revisa a saída do agente e com que amostragem
- Comunicar resultados técnicos de avaliação em linguagem que uma liderança comercial usa para decidir
Adequação ao Programa
Onde isso se encaixa no seu programa.
Aperfeiçoa as mesmas habilidades que seu curso espera que você demonstre.
Conteúdo alinhado em breve.
Habilidades
Habilidades que você vai demonstrar.
Cada um aparece no seu certificado verificado.
- Agent Performance Monitoring
Apply agent performance monitoring to solve real industry problems and demonstrate production-level capability.
- Cost Quality Tracking
Apply cost quality tracking to solve real industry problems and demonstrate production-level capability.
- Agent Lifecycle Management
Apply agent lifecycle management to solve real industry problems and demonstrate production-level capability.
- Human Ai Team Workflows
Apply human ai team workflows to solve real industry problems and demonstrate production-level capability.
- Agent Role Definition
Apply agent role definition to solve real industry problems and demonstrate production-level capability.
Carreiras
Cargos para os quais este desafio te prepara.
Títulos reais. Pontes reais de habilidades. Escolha o mais próximo da sua trajetória.
Trilhas de carreira que este desafio desenvolve
Funções canônicasGerente de Produto de IA
Definir o contrato de qualidade e o critério de bloqueio de versão é a decisão de produto mais difícil em IA aplicada. Você sai com evidência prática de como equilibrar velocidade de entrega, custo de modelo e risco de resposta errada para o cliente.
Este desafio aprimora
- cost-quality-tracking
- agent-lifecycle-management
- agent-role-definition
Engenheiro de MLOps
A bancada que vocês constroem é a espinha dorsal de uma esteira de operação de modelos: versionamento, execução em lote, detecção de regressão e portões de qualidade automatizados antes da subida para produção.
Este desafio aprimora
- agent-performance-monitoring
- agent-lifecycle-management
- cost-quality-tracking
Analista de Dados
Você pratica amostragem estratificada, comparação entre versões e construção de painel com fonte de dado rastreável — exatamente o trabalho de medir se uma mudança de produto teve efeito real ou ruído.
Este desafio aprimora
- agent-performance-monitoring
- cost-quality-tracking
- human-ai-team-workflows
Arquiteto de Soluções de IA
O desenho da camada de avaliação, dos pontos de revisão humana e dos limites de custo por rodada é decisão arquitetural típica de quem desenha soluções de IA para empresas com orçamento apertado.
Este desafio aprimora
- agent-lifecycle-management
- human-ai-team-workflows
- agent-performance-monitoring
Só mais uma coisa