Implementa observabilidad end-to-end para un sistema de RAG en producción
Visión general
De qué trata este proyecto.
Recibirás el código del sistema RAG (LangChain + OpenSearch + un LLM open-source) y 800 traces (trazas) etiquetadas como buenas o malas por el equipo. Implementa: (1) instrumentación con OpenTelemetry de cada etapa, (2) métricas custom (recall del retriever, score del reranker, longitud de respuesta), (3) un dashboard en Grafana con vista por etapa, (4) atribución automática de fallos mediante reglas simples. Entrega el sistema funcionando + un manual de operación.
El Briefing
Lo que harás y lo que demostrarás.
Construir observabilidad por etapa que permita atribuir cada fallo de RAG a retriever, reranker o LLM, y un dashboard que el equipo use a diario.
Earning criteria — what you'll demonstrate
- Instrumentar un pipeline de ML moderno con tracing distribuido
- Diseñar métricas específicas para sistemas RAG en producción
- Construir un dashboard que sirva para acción, no para decoración
- Atribuir fallos a etapas correctas con datos, no con intuición
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Trayectorias profesionales que esto construye
Roles canónicosIngeniero/a MLOps
Construir observabilidad end-to-end para un sistema RAG es trabajo de MLOps senior en cualquier empresa con LLMs en producción.
Este proyecto afina
- observability
- opentelemetry
- production-ml
Ingeniero/a de IA
Instrumentar un pipeline LangChain + LLM y atribuir fallos a etapas es competencia clave del AI engineer moderno.
Este proyecto afina
- rag
- observability
- python
Ingeniero/a de Machine Learning
Saber diagnosticar por qué un sistema ML falla en producción separa al MLE senior del junior que solo entrena modelos.
Este proyecto afina
- production-ml
- observability
- rag