Latenz- und Kosten-Optimierung für ein Hamburger E-Commerce-Chat
Übersicht
Worum es bei diesem Projekt geht.
Du erhältst Zugriff auf 50.000 anonymisierte Chat-Sessions plus Kosten- und Latenz-Logs. Baue (1) einen Klassifikator (klein, ggf. Distil-Modell oder Few-Shot mit GPT-4o-mini), der Anfragen in 'einfach' vs. 'komplex' einteilt; (2) Routing zu kostengünstigem Modell (Claude Haiku / GPT-4o-mini) oder Premium-Modell; (3) Streaming und Prompt-Caching; (4) Budget-Limit pro Session mit Eskalation bei Überschreitung. Evaluiere mit Antwortqualität (LLM-as-judge), Latenz und Kosten pro Session. Liefere Pipeline, Bericht, Memo.
Das Briefing
Was Du tust und was Du zeigst.
Wie senkt eine Tiered-Modell-Strategie die LLM-Kosten pro Session um mindestens 40 %, ohne die Antwortqualität messbar zu verschlechtern?
Earning criteria — what you'll demonstrate
- Tiered-Modell-Strategien für Produktiv-LLM-Apps entwerfen
- Streaming und Caching als Standard-Bausteine einsetzen
- Budget-Limits als Schutzgeländer in Sessions verankern
- Kosten-/Qualitäts-Trade-offs ehrlich an Geschäftsentscheider:innen kommunizieren
Studienpassung
Wo dies in Dein Studium passt.
Schärft dieselben Fähigkeiten, die Dein Studium von Dir erwartet.
Fähigkeiten
Fähigkeiten, die Du unter Beweis stellst.
Jede taucht auf Deinem verifizierten Zertifikat auf.
Karrieren
Berufe, auf die dies Dich vorbereitet.
Echte Berufsbezeichnungen. Echte Skill-Brücken. Wähle die, die Deinem Werdegang am nächsten kommt.
Karrierewege, die das aufbaut
Kanonische RollenKI-Engineer
Tiered-Modell-Routing mit Cost-Caps ist eine Senior-typische Aufgabe für KI-Engineers in E-Commerce-Teams mit hohem LLM-Volumen.
Dieses Projekt schärft
- model-routing
- cost-optimization
- streaming
MLOps-Ingenieur:in
Streaming, Caching und Budget-Limits zu implementieren ist Tagesarbeit von MLOps-Ingenieur:innen, die Produktiv-LLM-Pipelines verantworten.
Dieses Projekt schärft
- prompt-caching
- streaming
- latency-budgets
KI-Produktmanager:in
Kosten-Qualitäts-Trade-offs an die Geschäftsleitung zu vermitteln, ist eine direkte KI-PM-Aufgabe in Konzern- und Scale-up-Teams.
Dieses Projekt schärft
- cost-optimization
- llm-evaluation
- model-routing
Noch eine Sache