Implementa observabilidad y monitorización de coste para una app LLM
Visión general
De qué trata este proyecto.
Instrumentarás la app existente (acceso al repo Next.js + backend Python) con observabilidad: trazas por petición, métricas de tokens in/out, latencia P95, coste por cliente y por feature. Usarás LangSmith o Langfuse (justifica). Implementarás cache semántico para preguntas frecuentes (umbral de similaridad calibrado contra falsos positivos) y un sistema de model routing (GPT-4o para tareas complejas, GPT-4o-mini para resúmenes). Mostrarás reducción de coste mensual proyectada con honestidad sobre riesgos.
El Briefing
Lo que harás y lo que demostrarás.
Instrumentar observabilidad LLM y demostrar reducción de coste medible con cache semántico y routing de modelos.
Earning criteria — what you'll demonstrate
- Instrumentar trazas y métricas en una app LLM en producción
- Diseñar cache semántico calibrado contra falsos positivos
- Implementar routing entre modelos con políticas accionables
- Comunicar ahorros con honestidad sobre supuestos
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Trayectorias profesionales que esto construye
Roles canónicosIngeniera de MLOps
Observabilidad y optimización de coste de LLMs en producción es el portafolio que justifica MLOps en cualquier startup que escala IA.
Este proyecto afina
- llm-observability
- cost-optimization
- semantic-caching
Ingeniera de IA
Implementar routing y cache semántico es competencia central de AI engineers que sostienen aplicaciones LLM.
Este proyecto afina
- model-routing
- semantic-caching
- python
Arquitecta de Soluciones de IA
Decidir políticas de routing y trade-offs coste/calidad es responsabilidad de architects al consolidar la arquitectura LLM de una empresa.
Este proyecto afina
- cost-optimization
- model-routing
- evaluation