Diseña un protocolo de evaluación de retrieval para asistente RAG bancario
Visión general
De qué trata este proyecto.
Diseña un protocolo de evaluación RAG bancario con 200 consultas y métricas. Obtén un certificado verificable.
El escenario
El banco (4.500 oficinas en 2 países, fuerte presión regulatoria en LATAM y Eurozona) tiene un comité de modelos que exige evidencia documentada antes de cada release del asistente.
El Briefing
Lo que harás y lo que demostrarás.
Diseñar un protocolo reproducible de evaluación de retrieval y RAG que un comité de modelos bancario pueda auditar mes a mes.
Earning criteria — what you'll demonstrate
- Diseñar protocolos de evaluación auditables para retrieval y RAG
- Construir guideline de anotación que minimiza sesgo y mide acuerdo entre anotadores
- Combinar métricas IR clásicas y métricas específicas de RAG
- Automatizar evaluaciones repetibles con trazabilidad por release
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Information Retrieval and Search
Master · Nlp
Strong alignment
This challenge maps to Information Retrieval and Search at the Master level. It sharpens the same practical skills your coursework expects — but in a real industry context with actual constraints and deliverables.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
- Evaluation
Apply evaluation to solve real industry problems and demonstrate production-level capability.
- Information Retrieval
Apply information retrieval to solve real industry problems and demonstrate production-level capability.
- Rag Evaluation
Apply rag evaluation to solve real industry problems and demonstrate production-level capability.
- Annotation Design
Apply annotation design to solve real industry problems and demonstrate production-level capability.
- Experiment Design
Apply experiment design to solve real industry problems and demonstrate production-level capability.
- Python
Write clean, efficient Python for data processing, automation, and backend services.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Investigadora de Ciencias
Diseñar protocolos auditables de evaluación es la espina dorsal del trabajo de research scientist en producto de IA bajo regulación.
Este proyecto afina
- evaluation
- rag-evaluation
- experiment-design
Ingeniera de Procesamiento de Lenguaje Natural
Combinar métricas IR clásicas con métricas de RAG y automatizarlas es exactamente lo que una NLP engineer construye para sostener un asistente vertical en producción.
Este proyecto afina
- information-retrieval
- rag-evaluation
- python
Investigadora de Seguridad de IA
Trabajar el bucle release → evaluación → comité de modelos es trabajo nuclear de safety aplicada en sectores regulados.
Este proyecto afina
- evaluation
- annotation-design
- rag-evaluation