Evalúa estrategias de cuantización para inferencia económica en español
Visión general
De qué trata este proyecto.
Tomarás Llama-3 8B-Instruct o Qwen2 7B-Instruct y producirás 4 variantes: FP16 baseline, INT8 (bitsandbytes), INT4-AWQ, INT4-GPTQ. Evaluarás sobre 3 benchmarks en español: una traducción de MMLU (subset), 50 prompts de Q&A general en español y 30 prompts de razonamiento matemático sencillo. Métricas: accuracy, perplexity, latencia P95 y memoria GPU. Reportarás trade-off por variante y guía de cuándo usar cada una.
El Briefing
Lo que harás y lo que demostrarás.
Producir una guía operativa para elegir estrategia de cuantización de LLMs abiertos según calidad, latencia y memoria en tareas en español.
Earning criteria — what you'll demonstrate
- Aplicar y comparar técnicas de cuantización (INT8, AWQ, GPTQ)
- Benchmarkar LLMs con métricas operativas y de calidad en español
- Identificar el punto óptimo de calidad/coste para distintos casos
- Comunicar trade-offs técnicos como guía operativa accionable
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Trayectorias profesionales que esto construye
Roles canónicosIngeniera de MLOps
Benchmarkar variantes cuantizadas y producir guías operativas es exactamente el trabajo de MLOps en consultorías que despliegan LLMs por volumen.
Este proyecto afina
- quantization
- llm-inference
- cost-analysis
Ingeniera de Aprendizaje Automático
Operar la inferencia óptima de un LLM bajo restricciones de memoria es competencia transversal de cualquier ML engineer que cierre el bucle a producto.
Este proyecto afina
- pytorch
- benchmarking
- evaluation
Ingeniera de IA
Empaquetar y elegir la variante correcta para cada cliente es la decisión cotidiana de una AI engineer en consultoría aplicada.
Este proyecto afina
- llm-inference
- cost-analysis
- evaluation