Visión general
De qué trata este proyecto.
Entrena transformers GPT-style en 3 tamaños, reporta curvas loss vs. FLOPs y obtén un certificado verificable.
El Briefing
Lo que harás y lo que demostrarás.
Producir evidencia empírica honesta sobre cómo escala la pérdida de transformers pequeños con datos, parámetros y cómputo a escala accesible.
Earning criteria — what you'll demonstrate
- Implementar y depurar el bucle de pre-entrenamiento de transformers desde cero
- Diseñar experimentos controlados de scaling con presupuesto limitado
- Interpretar curvas de loss vs. cómputo y dialogar con la literatura existente
- Reportar limitaciones de un estudio académico de baja escala
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Large Language Models
Master · Ai Ml
Fit score: 1
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Ingeniera de Investigación en IA
Reproducir scaling experiments a escala accesible es el músculo central de cualquier ML researcher que quiera publicar trabajo empírico sólido.
Este proyecto afina
- scaling-laws
- transformers
- experiment-design
Investigadora de Ciencias
Diseñar experimentos controlados y reportar honestamente limitaciones es trabajo cotidiano de research scientists en grupos académicos e industriales.
Este proyecto afina
- experiment-design
- evaluation
- pretraining
Ingeniera de Investigación Aplicada en IA
Dominar el bucle de pre-entrenamiento conecta con applied AI scientists en laboratorios industriales con cómputo limitado.
Este proyecto afina
- pytorch
- pretraining
- transformers