Optimizar el coste de embeddings de un asistente RAG para soporte SaaS
Visión general
De qué trata este proyecto.
Recibes: (a) la pipeline actual (re-embedding completo ante cualquier cambio de artículo, OpenAI text-embedding-3-large, 3.072 dimensiones) con un mes de logs de coste, (b) una muestra de 5.000 artículos con diferencias diarias durante 30 días y (c) un benchmark de 200 consultas etiquetadas extraído de tickets reales. Diseña al menos dos estrategias alternativas: por ejemplo, cambiar a text-embedding-3-small con reducción de dimensionalidad, o pasar a un codificador de código abierto (bge-m3 o jina-embeddings-v2) más detección de cambios basada en hash de contenido. Mide la calidad (recall@5 sobre el benchmark) y proyecta el coste mensual de ambas alternativas. Recomienda una vía con un plan de despliegue a 90 días. Éxito: reducción de coste de al menos un 60% sin perder más de 3 puntos porcentuales de recall@5.
El Briefing
Lo que harás y lo que demostrarás.
Recortar al menos un 60% el coste de embeddings de una base de conocimiento de 95.000 artículos refrescada a diario, sin perder más de 3 puntos porcentuales de recall@5.
Earning criteria — what you'll demonstrate
- Comparar modelos de embeddings en la frontera calidad/coste para una carga real
- Aplicar detección de cambios por hash de contenido para evitar re-embeddings inútiles
- Usar truncado de dimensiones tipo Matryoshka (representaciones anidadas) para recortar almacenamiento y coste de similitud
- Traducir mediciones de Machine Learning en una narrativa de coste apta para consejo de administración
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Trayectorias profesionales que esto construye
Roles canónicosApplied AI Scientist
Elegir entre modelos de embeddings en la frontera calidad/coste y convertir el resultado en un memorando para consejo es el entregable cotidiano de una persona Applied AI Scientist dentro de cualquier SaaS con asistente RAG.
Este proyecto afina
- embedding-models
- evaluation
- cost-optimization
AI Engineer
Implementar detección de cambios y truncado de dimensiones contra una pipeline real de ingesta es la ingeniería práctica que los AI Engineers hacen en productos de atención al cliente y búsqueda.
Este proyecto afina
- change-detection
- dimensionality-reduction
- rag
MLOps Engineer
El plan de despliegue con backfill, comparación en sombra y rollback refleja cómo los MLOps Engineers cambian modelos en sistemas de recuperación en producción.
Este proyecto afina
- cost-optimization
- evaluation
- change-detection