Automatisierte Aufsatz-Bewertung für ein Sprachlern-Startup
Übersicht
Worum es bei diesem Projekt geht.
Du erhältst 600 anonymisierte Lernertexte (300 auf B1, 300 auf B2) mit jeweils zwei unabhängigen menschlichen Bewertungen nach einer Vier-Achsen-Rubrik (Inhalt, Aufbau, Wortschatz, Grammatik) auf einer Skala 0-5. Implementiere einen Sprachmodell-basierten Bewertungs-Prototyp (Beispiele: GPT-4o-mini oder Mistral via API), der dieselbe Vier-Achsen-Rubrik verwendet, mit einer Few-Shot-Prompting-Strategie (drei kalibrierte Beispieltexte je Achse). Berechne die Korrelation (Spearman-Rho) gegen den Mittelwert der menschlichen Bewertungen und identifiziere systematische Verzerrungen (z. B. Übergewichtung von Grammatikfehlern). Liefere den Prototyp, einen 8-seitigen Validierungs-Bericht und eine begründete Empfehlung 'in den Produktionspfad' oder 'nicht produktionsreif'.
Das Briefing
Was Du tust und was Du zeigst.
Wie gut korreliert ein sorgfältig geprompter Sprachmodell-Bewerter mit menschlichen Bewertungen auf B1- und B2-Schreibaufgaben — und ist er produktreif?
Earning criteria — what you'll demonstrate
- Automatisierte Aufsatzbewertung mit Sprachmodellen pädagogisch fundiert prompten
- Inter-Rater-Reliability als zentrale Bewertungsgröße in Lernkontexten anwenden
- Systematische Verzerrungen in automatisierten Bewertern identifizieren und benennen
- Eine produktreife Entscheidungs-Empfehlung gegen menschliche Goldbewertung verteidigen
Studienpassung
Wo dies in Dein Studium passt.
Schärft dieselben Fähigkeiten, die Dein Studium von Dir erwartet.
Fähigkeiten
Fähigkeiten, die Du unter Beweis stellst.
Jede taucht auf Deinem verifizierten Zertifikat auf.
Karrieren
Berufe, auf die dies Dich vorbereitet.
Echte Berufsbezeichnungen. Echte Skill-Brücken. Wähle die, die Deinem Werdegang am nächsten kommt.
Natural-Language-Processing-Ingenieur:in
Automatisierte Aufsatzbewertung mit Sprachmodellen pädagogisch fundiert zu prompten ist genau die Schnittstellenarbeit, die NLP-Ingenieur:innen in EdTech-Unternehmen verantworten.
Dieses Projekt schärft
- automated-assessment
- prompt-engineering
- llm-evaluation
Prompt Engineer
Kalibrierte Few-Shot-Beispiele und systematischer Prompt-Vergleich sind das Kernhandwerk von Prompt Engineers; diese Challenge übt es an einem pädagogisch heiklen Anwendungsfall.
Dieses Projekt schärft
- prompt-engineering
- llm-evaluation
- rubric-design
Applied AI Scientist
Inter-Rater-Reliability und Verzerrungs-Analyse gegen menschliche Goldbewertung in eine Produkt-Empfehlung zu überführen ist die angewandte Forschungsarbeit, die Applied AI Scientists in EdTech leisten.
Dieses Projekt schärft
- inter-rater-reliability
- automated-assessment
- llm-evaluation
Noch eine Sache