Optimizar hiperparámetros con teoría del aprendizaje
Visión general
De qué trata este proyecto.
Recibirás 5 datasets tabulares anonimizados (clasificación binaria, tamaños entre 1k y 20k). Diseñarás una metodología que combine: (1) Bayesian optimization con Optuna sobre familias XGBoost y RBF-SVM, (2) validación cruzada repetida con nested CV para selección honesta del modelo, (3) cotas de generalización (Rademacher / PAC-Bayes) calculadas para los modelos finales como cota superior de error esperado. Evaluarás contra la práctica actual del equipo en (a) AUROC out-of-sample, (b) estabilidad del modelo elegido entre folds y (c) claridad de la cota teórica para informe al cliente.
El Briefing
Lo que harás y lo que demostrarás.
Definir una metodología reproducible de selección de modelo con cotas teóricas que mejore la práctica actual del equipo en 5 datasets representativos.
Earning criteria — what you'll demonstrate
- Aplicar Bayesian optimization a la selección de hiperparámetros con presupuesto acotado
- Diseñar protocolos nested CV honestos para datasets pequeños
- Calcular y comunicar cotas de generalización (Rademacher, PAC-Bayes)
- Reducir variabilidad entre consultores con una metodología compartida
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Trayectorias profesionales que esto construye
Roles canónicosData Scientist
Disciplinar la selección de modelo con nested CV y cotas teóricas es exactamente el trabajo de una persona Data Scientist senior en consultoría.
Este proyecto afina
- cross-validation
- model-selection
- learning-theory
Applied AI Scientist
Convertir teoría del aprendizaje en métricas comunicables a cliente es el puente que define el rol Applied AI Scientist frente al puramente académico.
Este proyecto afina
- learning-theory
- statistical-rigor
- model-selection
ML Researcher
Aplicar cotas PAC-Bayes y diseñar comparativas reproducibles conecta con la rutina de quien publica metodología en ML aplicado.
Este proyecto afina
- bayesian-optimization
- learning-theory
- statistical-rigor